DGX Spark #1
| GPU | NVIDIA GB10 (Grace Blackwell) |
|---|---|
| 显存 | 统一内存 121GB |
| CPU | 20 核 Cortex-X925 (ARM) |
| 内存 | 121 GB 统一内存 |
| 磁盘 | 3.7 TB 系统盘 |
| 系统 | Ubuntu 24.04.5 LTS |
| 驱动 | 580.178.04 |
| CUDA | 13.0 |
| 架构 | aarch64 |
这台机器的坑
统一内存架构:nvidia-smi 显存显示为 N/A 属正常,显存与系统内存共用 121GB 池;2026-10-24 补录官方电源口径(此前机型卡无功耗字段):整机电源 240 W、GB10 芯片 TDP 140 W,余约 100 W 供 ConnectX-7 / Wi-Fi / SSD / USB-C 等外设。🔴 由此产生一个必踩的坑:
DGX Spark 集群节点 1
统一内存架构:nvidia-smi 显存显示为 N/A 属正常,显存与系统内存共用 121GB 池;2026-10-24 补录官方电源口径(此前机型卡无功耗字段):整机电源 240 W、GB10 芯片 TDP 140 W,余约 100 W 供 ConnectX-7 / Wi-Fi / SSD / USB-C 等外设。🔴 由此产生一个必踩的坑:
报的是 GPU 芯片封装功耗,2026-10-24 实测四台满载仅 146.30 W(单台 34.65–38.77 W),只占整机电源额定 960 W 的 15.2% —— 用它算电费会低估 6.6 倍(63.20 元/月 vs 实际 414.72 元/月)。算钱要用墙上的数,不是芯片里的数;2026-10-31 补录实测口径(四台同时采样 01:00-02:00):MemTotal = 127,598,752 kB = 121.69 GiB / 台(厂商标称 128 GB 是十进制口径,差 0.4 GiB 来自单位换算与固件预留,不是少给内存)。🔴 显存三项确认在 NVML 层就返回 [N/A]:memory.total = [N/A]、memory.used = [N/A]、utilization.memory = Not Supported,power.limit 同为 [N/A] —— 已做硬件自证(PnP OK / 错误码 0 / nvlddmkm Running / NVML 与 nvidia-smi 版本均 8.17.16.1088),。⇒ 查内存水位只看 /proc/meminfo 的 MemAvailable(四台实测 16.68 / 17.93 / 18.23 / 18.07 GiB),查模型实际占用看 nvidia-smi --query-compute-apps=used_memory(实测 94.43 GiB),两者都别用 docker stats(实测 5.405 GiB,会高估余量 17.5 倍)。;2026-11-03 补录互联口径(此前机型卡没有这一项,直接影响「能不能多机」判断):每台有 4 个 200G 网口( 全为 200000), 里 4 个 RoCE HCA 全为 PORT_ACTIVE,但,另 2 个有物理层、有链路、无地址。⇒ 四台之间不是交换机全互联,而是(每台只与相邻 2 台直连,共 4 条边,无对角线通路)。实测每条边 8 流 TCP 只能跑 95.6–110.7 Gbps(平均 102.8,对 200G 标称达成率 51.4%),单条 TCP 更只有 40.0 Gbps。⇒ 环上必须做两件事:rank 顺序改成物理环序、rendezvous 放管理网;否则 NCCL 会跨对角线建 QP 而超时 110。与选型相关的实测(59 条)
| 任务 | 数值 | 等级 |
|---|---|---|
| 27B 单线程基准未跑完的等待时长 | 200 秒 | L0 |
| 288GB 权重落盘耗时(单流) | 25.0 秒 | L0 |
| 54.74GB 权重环网 8 线程搬运耗时 | 4.14 秒 | L0 |
| Arete-27B Q4_K_M 超出 16G 卡的显存 | 1.09 GiB | L0 |
| DGX Spark 集群 单请求 decode 吞吐 | 42.51 tok/s | L0 |
| DGX Spark 集群 单请求 decode 吞吐 | 28.54 tok/s | L1 |
| DGX Spark 集群 单请求 decode 吞吐 | 27.9 tok/s | L1 |
| DGX Spark 集群 并发16 单请求延迟 | 20.24 秒/请求 | L0 |
| DGX Spark 集群 并发16 系统吞吐 | 148.22 tok/s | L0 |
| DGX Spark 集群 并发16 系统吞吐 | 101.54 tok/s | L0 |
| DGX Spark 集群 并发16 系统吞吐 | 150.51 tok/s | L0 |
| DGX Spark 集群 并发4 系统吞吐 | 103.29 tok/s | L0 |
| DGX Spark 集群 并发8 系统吞吐 | 148.95 tok/s | L0 |
| DGX Spark 集群 并发8 系统吞吐 | 88.09 tok/s | L0 |
| DGX Spark 集群 并发8 系统吞吐 | 86.45 tok/s | L0 |
| DGX Spark 集群 长上下文 prefill(40k) | 2311 tok/s | L0 |
| DGX Spark 集群 首字延迟 TTFT | 151 ms | L1 |
| DGX Spark 集群 首字延迟 TTFT | 162.04 ms | L1 |
| DGX Spark 集群 首字延迟 TTFT | 154.8 ms | L1 |
| DeepSeek-V4.1-Flash·并发 1 吞吐 | 41.20 tok/s | L0 |
| DeepSeek-V4.1-Flash·并发 2 吞吐 | 65.26 tok/s | L0 |
| PLaMo 0.8B Q4_K_M 纯 CPU decode(T=1) | 30.15 token/s | L1 |
| PLaMo 0.8B Q4_K_M 纯 CPU decode(T=2) | 28.65 token/s | L1 |
| PLaMo 0.8B Q4_K_M 纯 CPU decode(T=4) | 51.81 token/s | L1 |
| PLaMo 0.8B Q4_K_M 纯 CPU decode(T=8) | 52.51 token/s | L1 |
| PLaMo 0.8B Q4_K_M 纯CPU prefill(1 线程) | 43.37 token/s | L1 |
| PLaMo 0.8B Q4_K_M 纯CPU prefill(2 线程) | 95.33 token/s | L1 |
| PLaMo 0.8B Q4_K_M 纯CPU prefill(4 线程) | 175.09 token/s | L1 |
| PLaMo 0.8B Q4_K_M 纯CPU prefill(8 线程) | 168.21 token/s | L1 |
| Qwen3.8-27B IQ1_S 纯CPU prefill(16 线程) | 6.36 token/s | L1 |
| Qwen3.8-27B IQ1_S 纯CPU prefill(4 线程) | 2.34 token/s | L1 |
| Qwen3.8-27B UD-IQ1_S 纯 CPU decode(T=16) | 1.2 token/s | L1 |
| Qwen3.8-27B UD-IQ1_S 纯 CPU decode(T=4) | 2.04 token/s | L1 |
| Qwen3.8-27B UD-IQ1_S 纯 CPU decode(T=8) | 3.49 token/s | L1 |
| Qwen3.8-27B UD-IQ1_S 纯 CPU prefill(T=8) | 4.33 token/s | L1 |
| 单张 16G 卡跑 1000 亿参数 Q4_K_M 所缺的显存 | 42.3 GiB | L0 |
| 官方实验:Super-agent 单次运行 token 量 | 2323 万 token | L0 |
| 官方实验:单 Agent 基线的 token 量(下限) | 610 万 token | L0 |
| 按厂商标称 273 GB/s 算出的 decode 上限 | 111 tok/s | L0 |
| 按实测 229.6 GB/s 算出的 decode 上限 | 93.7 tok/s | L0 |
| 本地 deepseek-v4.1-flash 原始出字速度(智能体负载) | 57 token/s | L0 |
| 本地模型出 500 tokens 的耗时 | 8.787 秒 | L0 |
| 模型单次请求延迟(智能体评估调用) | 1.1 秒 | L0 |
| 模型并发 3 请求的单请求延迟 | 1.4 秒 | L0 |
| 现有四台的显存缺口 | 313 GB | L0 |
| 生产 decode 吞吐(DeepSeek-V4.1-Flash 4 机 TP4) | 56.32 tok/s | L0 |
| 磁盘当显存:撑 1 tok/s 所需缓存命中率 | 17.53 % | L0 |
| 输出 256 token 时的 tok/s | 54.38 token/s | L0 |
| 输出 512 token 时的 tok/s | 56.32 token/s | L0 |
| 输出 64 token 时的 tok/s(含首 token 固定开销) | 41.16 token/s | L0 |
| 集群并发 1 单请求耗时 | 15.842 s | L1 |
| 集群并发 1 墙钟耗时 | 15.842 s | L1 |
| 集群并发 1 系统吞吐 | 27.84 tok/s | L0 |
| 集群并发 4 单请求耗时 | 21.578 s | L1 |
| 集群并发 4 墙钟耗时 | 23.088 s | L1 |
| 集群并发 4 系统吞吐 | 73.46 tok/s | L0 |
| 集群并发 8 单请求耗时 | 26.41 s | L0 |
| 集群并发 8 墙钟耗时 | 31.887 s | L1 |
| 集群并发 8 系统吞吐 | 112.05 tok/s | L0 |
部署与运维相关(273 条)
磁盘、缓存、网络层面的数据,决定「能不能装下、传得快不快」, 不代表算力强弱。
| 任务 | 数值 | 等级 |
|---|---|---|
| 1000 亿参数下 Q8_0 与 Q4_K_M 的体积差 | 41.0 GiB | L0 |
| 1000 亿参数模型按 Q4_K_M 实测位宽的权重体积 | 58.2 GiB | L0 |
| 1000 亿参数模型按 Q8_0 实测位宽的权重体积 | 99.2 GiB | L0 |
| 1000 亿参数模型按名义 4bit 估的权重体积 | 46.6 GiB | L0 |
| 20 线程组开跑前的 loadavg | 1.04 loadavg | L1 |
| 20 线程组开跑后的 loadavg | 4.08 loadavg | L1 |
| 200G 环网 8 线程聚合带宽 | 13.2263 GB/s | L0 |
| 200G 环网单流搬运带宽 | 0.9149 GB/s | L1 |
| 200G 网卡实际达成率 | 51.4 % | L0 |
| 27B 16 线程 decode 相对 8 线程 | 0.34 倍 | L1 |
| 27B 相对 0.8B 的 decode 掉速倍数(4 线程) | 25.4 倍 | L1 |
| 27B 相对 0.8B 的 decode 掉速倍数(8 线程) | 15.0 倍 | L1 |
| 27B 相对 0.8B 的体积倍数 | 10.9 倍 | L1 |
| 27B 相对 0.8B 的参数倍数 | 30.2 倍 | L1 |
| 288GB 落盘:板载盘对 NAS 的倍数 | 135 倍 | L0 |
| 475.25 GiB 全量读吞吐(Spark #1,128MB 块) | 12.847 GB/s | L1 |
| 475.25 GiB 全量读吞吐(Spark #1,16MB 块) | 11.442 GB/s | L1 |
| 475.25 GiB 全量读吞吐(Spark #1,1MB 块) | 4.078 GB/s | L1 |
| 475.25 GiB 全量读吞吐(Spark #1,4MB 块) | 7.266 GB/s | L1 |
| 475.25 GiB 全量读耗时(Spark #1,128MB 块) | 39.721 秒 | L1 |
| 475.25 GiB 全量读耗时(Spark #1,16MB 块) | 44.6 秒 | L1 |
| 475.25 GiB 全量读耗时(Spark #1,1MB 块) | 125.146 秒 | L1 |
| 475.25 GiB 全量读耗时(Spark #1,4MB 块) | 70.233 秒 | L1 |
| 48 分片 8 路并行加速比 | 2.68 倍 | L1 |
| 48 分片 8 路并行搬运(200G 环网) | 2.4328 GB/s | L1 |
| 48 分片串行搬运(200G 环网) | 0.9067 GB/s | L1 |
| 800GB 权重按 1MB 分片落盘耗时 | 49.4 分钟 | 未标注 |
| 800GB 权重按 400MB 分片落盘耗时 | 1.4 分钟 | L0 |
| Arete-27B 256K 上下文 KV 体积 | 16.0 GiB | L0 |
| Arete-27B Q4_K_M 权重体积 | 17.2 GB | L0 |
| Arete-27B 每 token KV 体积 | 64.0 KiB | L0 |
| BotPsy-0.8B 在 hf-mirror 上实际拉到的字节数 | 13272062 B | L1 |
| BotPsy-0.8B 应有的文件体积 | 529296960 B | L0 |
| DGX Spark #1 板载 NVMe 4K 随机读 IOPS(QD1) | 4206 IOPS | L1 |
| DGX Spark #1 板载 NVMe 随机 8MB 块读(绕页缓存) | 5917.0 MB/s | L1 |
| DGX Spark 128GB 二手挂牌价中位 | 41450 元 | L0 |
| DGX Spark 512K 上下文剩余内存 | 7.8 GiB | L0 |
| DGX Spark 512K 上下文的内存占比 | 93.7 % | L0 |
| DGX Spark 单机最低挂牌价 | 33199 元 | L0 |
| DGX Spark 按最低挂单算的每 GB 单价 | 259 元/GB | L0 |
| DGX Spark 板载 NVMe 顺序写(绕页缓存) | 6489.5 MB/s | L1 |
| DGX Spark 板载 NVMe 顺序读(绕页缓存) | 5893.9 MB/s | L1 |
| DGX Spark 相对 5090D 的带宽倍数(慢多少) | 7.7 倍 | L0 |
| DGX Spark 统一内存官方标称带宽 | 273 GB/s | L0 |
| DGX Spark 统一内存每 GB 单价 | 324 元/GB | L0 |
| DGX Spark 装 Praxis-1 的内存余量 | 42 GB | L1 |
| DGX Spark 跑 512K 上下文的总账单 | 116 GiB | L0 |
| DGX 板载 NVMe 顺序写(16MB 块 O_DIRECT) | 3.5 GB/s | L0 |
| DGX 板载 NVMe 顺序读(16MB 块 O_DIRECT) | 11.3 GB/s | L0 |
| DeepSeek-V4.1-Flash 模型体积(GB 口径) | 510.31 GB | L0 |
| DeepSeek-V4.1-Flash 模型体积(GiB 口径) | 475.26 GiB | L0 |
| DeepSeek-V4.1-Flash 模型体积(du -sb 原始字节) | 510311051246 B | L0 |
| Edge0-145B 专家库 experts.bin 体积 | 40.08 GB | L1 |
| Edge0-145B 词表层 ple-fp8.gguf 体积 | 51.2 GB | L1 |
| Edge0-145B-NVFP4 专家库体积(对照) | 47.56 GB | L1 |
| Edge0-145B-q3k 仓库总字节(93 文件求和) | 105368210944 字节 | L1 |
| GB10 上 NVML 返回 N/A 的显存字段数 | 3 个 | L0 |
| GEMV 有效带宽(4096² fp16 32MB,bs=1) | 170.3 GB/s | L0 |
| GEMV 有效带宽(4096² fp16 32MB,bs=32) | 231.1 GB/s | L0 |
| HF 缓存目录体积(.cache/huggingface) | 476 GiB | L0 |
| IQ1_S 名义位宽与实际位宽的偏差 | 9.82 % | L1 |
| LFM2.5-1.2B F16 单档 GGUF 字节数 | 2343326528 B | L1 |
| LFM2.5-1.2B F16 的真实位宽 | 16.0181 bit/参 | L0 |
| LFM2.5-1.2B KV 实测值相对手算值的倍数 | 1.004 倍 | L0 |
| LFM2.5-1.2B Q4_K_M 单档 GGUF 字节数 | 730895168 B | L1 |
| LFM2.5-1.2B Q4_K_M 在 131,072 上下文下的进程 RSS | 2968.1 MiB | L1 |
| LFM2.5-1.2B Q4_K_M 在 16,384 上下文下的进程 RSS | 1618.7 MiB | L1 |
| LFM2.5-1.2B Q4_K_M 在 32,768 上下文下的进程 RSS | 1811.5 MiB | L1 |
| LFM2.5-1.2B Q4_K_M 在 4,096 上下文下的进程 RSS | 1473.6 MiB | L1 |
| LFM2.5-1.2B Q4_K_M 在 65,536 上下文下的进程 RSS | 2196.1 MiB | L1 |
| LFM2.5-1.2B Q4_K_M 在 8,192 上下文下的进程 RSS | 1521.8 MiB | L1 |
| LFM2.5-1.2B Q4_K_M 的真实位宽 | 4.9961 bit/参 | L0 |
| LFM2.5-1.2B Q4_K_M 纯权重加载后的进程 RSS(-c 512) | 1432.6 MiB | L1 |
| LFM2.5-1.2B Q5_K_M 单档 GGUF 字节数 | 843354944 B | L1 |
| LFM2.5-1.2B Q5_K_M 的真实位宽 | 5.7649 bit/参 | L0 |
| LFM2.5-1.2B Q6_K 单档 GGUF 字节数 | 962843456 B | L1 |
| LFM2.5-1.2B Q6_K 的真实位宽 | 6.5816 bit/参 | L0 |
| LFM2.5-1.2B Q8_0 单档 GGUF 字节数 | 1246253888 B | L1 |
| LFM2.5-1.2B Q8_0 在 131,072 上下文下的进程 RSS | 3943.0 MiB | L1 |
| LFM2.5-1.2B Q8_0 在 16,384 上下文下的进程 RSS | 2593.3 MiB | L1 |
| LFM2.5-1.2B Q8_0 在 4,096 上下文下的进程 RSS | 2448.8 MiB | L1 |
| LFM2.5-1.2B Q8_0 在 65,536 上下文下的进程 RSS | 3171.1 MiB | L1 |
| LFM2.5-1.2B Q8_0 的真实位宽 | 8.5189 bit/参 | L0 |
| LFM2.5-1.2B Q8_0 纯权重加载后的进程 RSS(-c 512) | 2415.7 MiB | L1 |
| LFM2.5-1.2B QAD-Q4_0 单档 GGUF 字节数 | 695755488 B | L1 |
| LFM2.5-1.2B QAD-Q4_0 的真实位宽 | 4.7559 bit/参 | L0 |
| LFM2.5-1.2B 每 10 亿参数在 Q4_K_M 下占的内存 | 595.58 MiB | L0 |
| LFM2.5-1.2B 每 token KV 的 config 手算值 | 12288 B/token | L0 |
| LFM2.5-1.2B 每 token 的 KV 字节数(Q4_K_M,RSS 斜率实测) | 12339.5 B/token | L1 |
| LFM2.5-1.2B 每 token 的 KV 字节数(Q8_0 对照) | 12338.8 B/token | L1 |
| LFM2.5-1.2B 的实际参数量(safetensors.total) | 1170340608 个 | L1 |
| LFM2.5-1.2B-GGUF 仓库全量字节数 | 14547665824 B | L1 |
| LFM2.5-1.2B-GGUF 仓库里 qad 子目录的体积 | 4681379080 B | L1 |
| LongCat-2.5 上下文窗口(以官方文档为准) | 104 K | L0 |
| LongCat-2.5 单次输出上限 | 26.2 K | L0 |
| LongCat-2.5 权重体积(按 W4A4 推算) | 800 GB | L0 |
| LongCat-2.5 装下所需台数比值(800÷121.7) | 6.6 台 | L0 |
| LongCat-2.5 装下所需台数(按 W4A4 推算) | 7 台 | L0 |
| MD5 相对 SHA-256 的耗时倍数 | 2.51 倍 | L0 |
| N/A 机型上仍可读到的 GPU 功耗(空载/带载采样值) | 25.28 W | L0 |
| NCCL all-reduce 10KB 单次延迟(4 机) | 36.4 μs | L0 |
| NCCL all-reduce 1MB busbw(2 机) | 72.9 Gbps | L0 |
| NCCL all-reduce 1MB busbw(4 机) | 73.4 Gbps | L0 |
| NCCL all-reduce 256MB(2 机) | 110.9 Gbps | L0 |
| NCCL all-reduce 256MB(4 机) | 111.3 Gbps | L0 |
| NCCL all-reduce 4KB 单次延迟(4 机) | 31.5 μs | L0 |
| NCCL all-reduce 64MB busbw(2 机) | 109.6 Gbps | L0 |
| NCCL all-reduce 64MB busbw(4 机) | 110.4 Gbps | L0 |
| NCCL all-reduce 8MB busbw(2 机) | 103.6 Gbps | L0 |
| NCCL all-reduce 8MB busbw(4 机) | 105.9 Gbps | L0 |
| NVMe 顺序写 4GB 文件(direct+fsync) | 6.8 GB/s | L1 |
| NVMe 顺序读 4GB 文件(direct) | 9.9 GB/s | L1 |
| PLaMo 0.8B Q4_K_M 权重体积(MiB) | 544.09 MiB | L1 |
| Q4_K_M 权重加载后 RSS 相对文件体积的增幅 | 105.5 % | L1 |
| Q4_K_M 相对名义 4bit 的内存超支比例 | 24.9 % | L0 |
| Q8_0 权重加载后 RSS 相对文件体积的增幅 | 103.3 % | L1 |
| Qwen3.8-27B BF16 分片数 | 18 个 | L1 |
| Qwen3.8-27B BF16 原仓体积 | 51.77 GiB | L1 |
| Qwen3.8-27B BF16 原仓总字节 | 55586107015 字节 | L1 |
| Qwen3.8-27B BF16 最大单片体积 | 3.715 GiB | L1 |
| Qwen3.8-27B GGUF 全量仓总字节 | 480390196319 字节 | L1 |
| Qwen3.8-27B IQ1_S 名义位宽 | 1.5625 bit/参 | L1 |
| Qwen3.8-27B MTP 头体积(mtp-Q4_0) | 1.276 GiB | L1 |
| Qwen3.8-27B Q4_K_M 权重体积 | 15.427 GiB | L1 |
| Qwen3.8-27B Q8_0 权重体积 | 27.052 GiB | L1 |
| Qwen3.8-27B UD-IQ1_S 实际位宽 | 1.716 bit/参 | L1 |
| Qwen3.8-27B UD-IQ1_S 权重体积 | 5922.3 MiB | L1 |
| Qwen3.8-27B UD-IQ2_XXS 权重体积 | 6.711 GiB | L1 |
| Qwen3.8-27B 参数量(llama-bench 口径) | 26.9 B | L1 |
| Qwen3.8-27B 可用量化档数 | 31 个 | L1 |
| Qwen3.8-27B 视觉投影器体积(mmproj-F16) | 0.864 GiB | L1 |
| Spark #1 最大分片的硬链接计数 | 2 个 | L0 |
| TP4 通信税占比(40 层小消息 all-reduce) | 8.2 % | L0 |
| TP=4 后每卡每 token 需读的权重 | 2.45 GiB | L0 |
| W4A4 每参数字节数(推算用常量) | 0.5 字节 | L0 |
| all-reduce 4 机 / 2 机 倍数 | 1.004 × | L0 |
| llama.cpp 官方 arm64 预编译包体积 | 18753070 B | L1 |
| llama.cpp 官方 arm64 预编译包要求的 glibc 版本 | 2.38 版本号 | L1 |
| nvidia-smi 读数占整机电源额定的比例 | 15.2 % | L1 |
| sglang 设备侧占用(nvidia-smi used_memory,MiB 口径) | 96693 MiB | L0 |
| sglang 预留比例(--mem-fraction-static) | 80 % | L0 |
| 一万块能买到多少 GB 统一内存(DGX Spark 口径) | 30.9 GB | L0 |
| 三介质读同一份 475.25 GiB 权重的倍数 | 112 倍 | L1 |
| 仓库全量体积相对单档 Q4_K_M 的倍数 | 19.9 倍 | L0 |
| 全量权重体积(GiB 口径) | 475.25 GiB | L1 |
| 全量权重总字节(48 个真实生产分片) | 510296708312 字节 | L1 |
| 六天累计读盘相当于把模型完整读几遍 | 4.23 遍 | L0 |
| 分片写盘峰值读数(3×400MB,含缓存影响) | 9984.3 MB/s | L0 |
| 分片写盘:1200 个 1MB 小文件 | 269.7 MB/s | L0 |
| 分片写盘:1MB 片 vs 400MB 片 倍数 | 35.5 × | L0 |
| 分片写盘:3 个 400MB 大文件 | 9577 MB/s | L0 |
| 分片写盘:300 个 4MB 文件 | 1049.3 MB/s | L0 |
| 分片写盘:75 个 16MB 文件 | 3102.5 MB/s | L0 |
| 利用率 10% 时的回本年限 | 72.8 年 | 未标注 |
| 利用率 10% 时的月产能 | 29 百万 token | 未标注 |
| 利用率 10% 时的月电费 | 41.47 元 | 未标注 |
| 利用率 100%(满产)时的回本年限 | 7.3 年 | 未标注 |
| 利用率 100%(满产)时的月产能 | 290.4 百万 token | 未标注 |
| 利用率 100%(满产)时的月电费 | 414.72 元 | 未标注 |
| 利用率 20% 时的回本年限 | 36.4 年 | 未标注 |
| 利用率 20% 时的月产能 | 58.1 百万 token | 未标注 |
| 利用率 20% 时的月电费 | 82.94 元 | 未标注 |
| 利用率 30% 时的回本年限 | 24.3 年 | 未标注 |
| 利用率 30% 时的月产能 | 87.1 百万 token | 未标注 |
| 利用率 30% 时的月电费 | 124.42 元 | 未标注 |
| 利用率 5% 时的回本年限 | 145.6 年 | 未标注 |
| 利用率 5% 时的月产能 | 14.5 百万 token | 未标注 |
| 利用率 5% 时的月电费 | 20.74 元 | 未标注 |
| 利用率 50% 时的回本年限 | 14.6 年 | 未标注 |
| 利用率 50% 时的月产能 | 145.2 百万 token | 未标注 |
| 利用率 50% 时的月电费 | 207.36 元 | 未标注 |
| 利用率 70% 时的回本年限 | 10.4 年 | 未标注 |
| 利用率 70% 时的月产能 | 203.3 百万 token | 未标注 |
| 利用率 70% 时的月电费 | 290.3 元 | 未标注 |
| 千兆管理网搬运带宽 | 0.936 Gbps | L0 |
| 单 token 小消息 all-reduce 累计开销(40 层) | 1.456 ms | L0 |
| 单个工单的 prompt token 量 | 9610 token | L0 |
| 单个网口速率(/sys/class/net 读数) | 200000 Mbps | L0 |
| 单台 MemAvailable 原始读数(kB) | 17493076 KB | L0 |
| 单台 MemTotal 原始读数(kB) | 127598752 KB | L0 |
| 单条请求能拿到的带宽占比(bs=1 ÷ 四台峰值) | 72.9 % | L0 |
| 单核 SHA-256 校验吞吐 | 1.49 GB/s | L0 |
| 反事实:16 层全注意力时 12.8 万上下文所需的 KV | 3.91 GiB | L0 |
| 反事实:若 16 层全为全注意力层的每 token KV | 32768 B/token | L0 |
| 口径①设备侧占用(nvidia-smi,GiB 口径) | 94.43 GiB | L0 |
| 口径③进程 RSS 求和(ps -eo rss,python3) | 1.12 GiB | L0 |
| 口径⑤cgroup memory.current(容器常规分配) | 12.84 GiB | L0 |
| 可用统一内存(Spark #1) | 121.7 GiB | L0 |
| 同一 GPU 上另一条 compute-app 的设备侧占用(nvidia-smi 第二行) | 170 MiB | L0 |
| 同一批 DGX Spark 挂单的每 GB 单价上沿 | 3125 元/GB | L0 |
| 同型号同批次板载盘顺序读差异 | 24.4 % | L1 |
| 同样一万块,DGX Spark 相对 5090D 的容量倍数 | 3.4 倍 | L0 |
| 四台 DGX Spark 统一内存合计(MemTotal × 4) | 486.75 GiB | L0 |
| 四台同型机带宽离散度(峰值与最低值之差 ÷ 最低值) | 3.4 % | L0 |
| 四台容器视图极差(docker stats) | 1.98 GiB | L0 |
| 四台旧权重名义合计 | 2089.92 GiB | L0 |
| 四台旧权重实际可释放合计 | 1473.02 GiB | L0 |
| 四台旧权重的重复计算量 | 616.9 GiB | L0 |
| 四台统一内存余量(合计内存 − 模型体积) | 11.49 GiB | L0 |
| 四台统一内存整体占用率(模型体积 ÷ 合计内存) | 97.64 % | L0 |
| 四台设备侧占用极差(smi used_memory) | 2 MiB | L0 |
| 块大小 128MB 相对 1MB 的读速倍数(Spark #1) | 3.15 倍 | L1 |
| 官方实验:完成时间压短幅度(上限) | 30 % | L0 |
| 实际可释放体积 | 47.21 GiB | L0 |
| 容器累计写盘量(BlockIO Write,150.97 小时) | 4.35 GB | L0 |
| 容器累计读盘量(BlockIO Read,150.97 小时) | 2.16 TB | L0 |
| 容器视图内存(docker stats MemUsage) | 5.405 GiB | L1 |
| 带宽利用率(实测产出 ÷ 实测带宽上限) | 60.1 % | L0 |
| 并发 8 时 GPU 功耗倍差(Spark #1 vs #3) | 1.12 倍 | L0 |
| 并发 8 时 GPU 功耗读数 | 38.77 W | L0 |
| 建议留在单机的模型规模上限 | 14.8 B | L0 |
| 整机可用内存(MemAvailable) | 16.68 GiB | L1 |
| 整机已用内存(GB 十进制口径,取材时刻) | 107.9 GB | L1 |
| 整机已用内存(MemTotal − MemAvailable) | 105 GiB | L1 |
| 新版模型目录体积(dsv41-model) | 476 GiB | L0 |
| 旧权重 links=1 真占体积的跨机倍差(Spark #2 vs #1) | 10.07 倍 | L0 |
| 旧权重中 links=1(真占)体积 | 47.21 GiB | L0 |
| 旧权重中 links=2(硬链接)体积 | 475.27 GiB | L0 |
| 旧版模型目录体积(dsv41-model-v41old) | 476 GiB | L0 |
| 月云账单(V4-Flash 空闲档 4.5 元/百万) | 1306.95 元 | 未标注 |
| 月云账单(V4-Flash 高峰档 9 元/百万) | 2613.9 元 | 未标注 |
| 月云账单(V4-Pro 高峰档 27 元/百万) | 7841.71 元 | 未标注 |
| 月云账单(峰谷各半 6.75 元/百万) | 1960.43 元 | 未标注 |
| 板载 NVMe 16 线程并发读扩展比 | 0.87 倍 | L0 |
| 板载 NVMe 8 文件并行 O_DIRECT 读 | 7.9926 GB/s | L1 |
| 板载 NVMe 顺序读单流带宽 | 11.546 GB/s | L0 |
| 标称带宽达成率(实测峰值 ÷ 标称 273) | 85.6 % | L0 |
| 校验 8 进程并行扩展比 | 3.95 倍 | L0 |
| 校验相对纯读的倍数 | 7.51 倍 | L0 |
| 每 token 需读的激活权重(不含 KV 与 embedding) | 9.81 GiB | L0 |
| 每台 200G 网口数(4 个中 2 个配地址) | 4 个 | L0 |
| 混合卷积结构相对全注意力省下的 KV 比例 | 62.3 % | L0 |
| 满产回本年限(对比 V4-Flash 空闲档) | 12.6 年 | 未标注 |
| 满产回本年限(对比 V4-Flash 高峰档) | 5.1 年 | 未标注 |
| 满产回本年限(对比 V4-Pro 高峰档) | 1.5 年 | 未标注 |
| 满产回本年限(对比峰谷各半档) | 7.3 年 | 未标注 |
| 环上 16 条 TCP 并发吞吐 | 110.37 Gbps | L0 |
| 环上 4 条 TCP 并发吞吐 | 40.62 Gbps | L0 |
| 环上 8 条 TCP 并发吞吐 | 100.36 Gbps | L0 |
| 环上单条 TCP 流吞吐 | 9.86 Gbps | L0 |
| 环上跨机单向有效带宽(8 流折算) | 6.9 GB/s | L0 |
| 环拓扑单边 TCP 8 流(Spark #1→#2) | 105.2 Gbps | L1 |
| 环拓扑四条边 TCP 并发 8 流平均带宽 | 102.8 Gbps | L1 |
| 环网 8 线程扩展比 | 4.11 倍 | L0 |
| 电费平衡点占满产比例(对比 V4-Flash 空闲档 4.5 元) | 31.7 % | 未标注 |
| 电费平衡点占满产比例(对比 V4-Flash 高峰档 9 元) | 15.9 % | 未标注 |
| 电费平衡点占满产比例(对比 V4-Pro 高峰档 27 元) | 5.3 % | 未标注 |
| 电费平衡点占满产比例(对比 峰谷各半 6.75 元) | 21.2 % | 未标注 |
| 电费平衡点月产(对比 V4-Flash 空闲档 4.5 元) | 92.2 百万 token | 未标注 |
| 电费平衡点月产(对比 V4-Flash 高峰档 9 元) | 46.1 百万 token | 未标注 |
| 电费平衡点月产(对比 V4-Pro 高峰档 27 元) | 15.4 百万 token | 未标注 |
| 电费平衡点月产(对比 峰谷各半 6.75 元) | 61.4 百万 token | 未标注 |
| 短输出相对长输出的 tok/s 跌幅(64 vs 512 token) | 26.9 % | L0 |
| 系统盘已用容量 | 1118 GiB | L0 |
| 系统盘已用容量倍差(Spark #2 vs #4) | 1.14 倍 | L0 |
| 绕缓存顺序读带宽 | 11.53 GB/s | L0 |
| 统一内存只读带宽 sum 512MB(Spark #1) | 255.9 GB/s | L0 |
| 统一内存带宽 copy 512MB(Spark #1) | 229.6 GB/s | L0 |
| 统一内存带宽 copy 64MB(Spark #1) | 224.5 GB/s | L0 |
| 若按名义 4bit 算应占的每 10 亿参数内存 | 476.8 MiB | L0 |
| 设备侧占用 ÷ 容器视图(Spark #1 同一时刻) | 17.5 倍 | L0 |
| 读盘 / 写盘 倍数 | 497 倍 | L0 |
| 连接复用相对每文件建连的收益 | 1.0 倍 | L1 |
| 集群四台常驻待机功率读数 | 137.03 W | L0 |
| 集群并发 1 总输出 token | 441 tok | L1 |
| 集群并发 4 总输出 token | 1696 tok | L1 |
| 集群并发 4 相对并发 1 的吞吐倍数 | 2.64 倍 | L1 |
| 集群并发 8 总输出 token | 3573 tok | L1 |
| 集群并发 8 时单台 GPU 功耗均值(nvidia-smi) | 36.6 W | L1 |
| 集群并发 8 时四台 GPU 功耗合计(nvidia-smi) | 146.3 W | L1 |
| 集群并发 8 相对并发 1 的吞吐倍数 | 4.02 倍 | L1 |
| 集群月耗电(整机口径) | 414.72 元 | L0 |
| 集群满产月产能 | 290.4 百万 token | 未标注 |