DGX Spark #1

企业级集群332 条实测
GPUNVIDIA GB10 (Grace Blackwell)
显存统一内存 121GB
CPU20 核 Cortex-X925 (ARM)
内存121 GB 统一内存
磁盘3.7 TB 系统盘
系统Ubuntu 24.04.5 LTS
驱动580.178.04
CUDA13.0
架构aarch64
这台机器的坑
统一内存架构:nvidia-smi 显存显示为 N/A 属正常,显存与系统内存共用 121GB 池;2026-10-24 补录官方电源口径(此前机型卡无功耗字段):整机电源 240 W、GB10 芯片 TDP 140 W,余约 100 W 供 ConnectX-7 / Wi-Fi / SSD / USB-C 等外设。🔴 由此产生一个必踩的坑: 报的是 GPU 芯片封装功耗,2026-10-24 实测四台满载仅 146.30 W(单台 34.65–38.77 W),只占整机电源额定 960 W 的 15.2% —— 用它算电费会低估 6.6 倍(63.20 元/月 vs 实际 414.72 元/月)。算钱要用墙上的数,不是芯片里的数;2026-10-31 补录实测口径(四台同时采样 01:00-02:00):MemTotal = 127,598,752 kB = 121.69 GiB / 台(厂商标称 128 GB 是十进制口径,差 0.4 GiB 来自单位换算与固件预留,不是少给内存)。🔴 显存三项确认在 NVML 层就返回 [N/A]:memory.total = [N/A]、memory.used = [N/A]、utilization.memory = Not Supported,power.limit 同为 [N/A] —— 已做硬件自证(PnP OK / 错误码 0 / nvlddmkm Running / NVML 与 nvidia-smi 版本均 8.17.16.1088),。⇒ 查内存水位只看 /proc/meminfo 的 MemAvailable(四台实测 16.68 / 17.93 / 18.23 / 18.07 GiB),查模型实际占用看 nvidia-smi --query-compute-apps=used_memory(实测 94.43 GiB),两者都别用 docker stats(实测 5.405 GiB,会高估余量 17.5 倍)。;2026-11-03 补录互联口径(此前机型卡没有这一项,直接影响「能不能多机」判断):每台有 4 个 200G 网口( 全为 200000), 里 4 个 RoCE HCA 全为 PORT_ACTIVE,但,另 2 个有物理层、有链路、无地址。⇒ 四台之间不是交换机全互联,而是(每台只与相邻 2 台直连,共 4 条边,无对角线通路)。实测每条边 8 流 TCP 只能跑 95.6–110.7 Gbps(平均 102.8,对 200G 标称达成率 51.4%),单条 TCP 更只有 40.0 Gbps。⇒ 环上必须做两件事:rank 顺序改成物理环序、rendezvous 放管理网;否则 NCCL 会跨对角线建 QP 而超时 110。
DGX Spark 集群节点 1

与选型相关的实测(59 条)

任务数值等级
27B 单线程基准未跑完的等待时长200 秒L0
288GB 权重落盘耗时(单流)25.0 秒L0
54.74GB 权重环网 8 线程搬运耗时4.14 秒L0
Arete-27B Q4_K_M 超出 16G 卡的显存1.09 GiBL0
DGX Spark 集群 单请求 decode 吞吐42.51 tok/sL0
DGX Spark 集群 单请求 decode 吞吐28.54 tok/sL1
DGX Spark 集群 单请求 decode 吞吐27.9 tok/sL1
DGX Spark 集群 并发16 单请求延迟20.24 秒/请求L0
DGX Spark 集群 并发16 系统吞吐148.22 tok/sL0
DGX Spark 集群 并发16 系统吞吐101.54 tok/sL0
DGX Spark 集群 并发16 系统吞吐150.51 tok/sL0
DGX Spark 集群 并发4 系统吞吐103.29 tok/sL0
DGX Spark 集群 并发8 系统吞吐148.95 tok/sL0
DGX Spark 集群 并发8 系统吞吐88.09 tok/sL0
DGX Spark 集群 并发8 系统吞吐86.45 tok/sL0
DGX Spark 集群 长上下文 prefill(40k)2311 tok/sL0
DGX Spark 集群 首字延迟 TTFT151 msL1
DGX Spark 集群 首字延迟 TTFT162.04 msL1
DGX Spark 集群 首字延迟 TTFT154.8 msL1
DeepSeek-V4.1-Flash·并发 1 吞吐41.20 tok/sL0
DeepSeek-V4.1-Flash·并发 2 吞吐65.26 tok/sL0
PLaMo 0.8B Q4_K_M 纯 CPU decode(T=1)30.15 token/sL1
PLaMo 0.8B Q4_K_M 纯 CPU decode(T=2)28.65 token/sL1
PLaMo 0.8B Q4_K_M 纯 CPU decode(T=4)51.81 token/sL1
PLaMo 0.8B Q4_K_M 纯 CPU decode(T=8)52.51 token/sL1
PLaMo 0.8B Q4_K_M 纯CPU prefill(1 线程)43.37 token/sL1
PLaMo 0.8B Q4_K_M 纯CPU prefill(2 线程)95.33 token/sL1
PLaMo 0.8B Q4_K_M 纯CPU prefill(4 线程)175.09 token/sL1
PLaMo 0.8B Q4_K_M 纯CPU prefill(8 线程)168.21 token/sL1
Qwen3.8-27B IQ1_S 纯CPU prefill(16 线程)6.36 token/sL1
Qwen3.8-27B IQ1_S 纯CPU prefill(4 线程)2.34 token/sL1
Qwen3.8-27B UD-IQ1_S 纯 CPU decode(T=16)1.2 token/sL1
Qwen3.8-27B UD-IQ1_S 纯 CPU decode(T=4)2.04 token/sL1
Qwen3.8-27B UD-IQ1_S 纯 CPU decode(T=8)3.49 token/sL1
Qwen3.8-27B UD-IQ1_S 纯 CPU prefill(T=8)4.33 token/sL1
单张 16G 卡跑 1000 亿参数 Q4_K_M 所缺的显存42.3 GiBL0
官方实验:Super-agent 单次运行 token 量2323 万 tokenL0
官方实验:单 Agent 基线的 token 量(下限)610 万 tokenL0
按厂商标称 273 GB/s 算出的 decode 上限111 tok/sL0
按实测 229.6 GB/s 算出的 decode 上限93.7 tok/sL0
本地 deepseek-v4.1-flash 原始出字速度(智能体负载)57 token/sL0
本地模型出 500 tokens 的耗时8.787 秒L0
模型单次请求延迟(智能体评估调用)1.1 秒L0
模型并发 3 请求的单请求延迟1.4 秒L0
现有四台的显存缺口313 GBL0
生产 decode 吞吐(DeepSeek-V4.1-Flash 4 机 TP4)56.32 tok/sL0
磁盘当显存:撑 1 tok/s 所需缓存命中率17.53 %L0
输出 256 token 时的 tok/s54.38 token/sL0
输出 512 token 时的 tok/s56.32 token/sL0
输出 64 token 时的 tok/s(含首 token 固定开销)41.16 token/sL0
集群并发 1 单请求耗时15.842 sL1
集群并发 1 墙钟耗时15.842 sL1
集群并发 1 系统吞吐27.84 tok/sL0
集群并发 4 单请求耗时21.578 sL1
集群并发 4 墙钟耗时23.088 sL1
集群并发 4 系统吞吐73.46 tok/sL0
集群并发 8 单请求耗时26.41 sL0
集群并发 8 墙钟耗时31.887 sL1
集群并发 8 系统吞吐112.05 tok/sL0

部署与运维相关(273 条)

磁盘、缓存、网络层面的数据,决定「能不能装下、传得快不快」, 不代表算力强弱。

任务数值等级
1000 亿参数下 Q8_0 与 Q4_K_M 的体积差41.0 GiBL0
1000 亿参数模型按 Q4_K_M 实测位宽的权重体积58.2 GiBL0
1000 亿参数模型按 Q8_0 实测位宽的权重体积99.2 GiBL0
1000 亿参数模型按名义 4bit 估的权重体积46.6 GiBL0
20 线程组开跑前的 loadavg1.04 loadavgL1
20 线程组开跑后的 loadavg4.08 loadavgL1
200G 环网 8 线程聚合带宽13.2263 GB/sL0
200G 环网单流搬运带宽0.9149 GB/sL1
200G 网卡实际达成率51.4 %L0
27B 16 线程 decode 相对 8 线程0.34 倍L1
27B 相对 0.8B 的 decode 掉速倍数(4 线程)25.4 倍L1
27B 相对 0.8B 的 decode 掉速倍数(8 线程)15.0 倍L1
27B 相对 0.8B 的体积倍数10.9 倍L1
27B 相对 0.8B 的参数倍数30.2 倍L1
288GB 落盘:板载盘对 NAS 的倍数135 倍L0
475.25 GiB 全量读吞吐(Spark #1,128MB 块)12.847 GB/sL1
475.25 GiB 全量读吞吐(Spark #1,16MB 块)11.442 GB/sL1
475.25 GiB 全量读吞吐(Spark #1,1MB 块)4.078 GB/sL1
475.25 GiB 全量读吞吐(Spark #1,4MB 块)7.266 GB/sL1
475.25 GiB 全量读耗时(Spark #1,128MB 块)39.721 秒L1
475.25 GiB 全量读耗时(Spark #1,16MB 块)44.6 秒L1
475.25 GiB 全量读耗时(Spark #1,1MB 块)125.146 秒L1
475.25 GiB 全量读耗时(Spark #1,4MB 块)70.233 秒L1
48 分片 8 路并行加速比2.68 倍L1
48 分片 8 路并行搬运(200G 环网)2.4328 GB/sL1
48 分片串行搬运(200G 环网)0.9067 GB/sL1
800GB 权重按 1MB 分片落盘耗时49.4 分钟未标注
800GB 权重按 400MB 分片落盘耗时1.4 分钟L0
Arete-27B 256K 上下文 KV 体积16.0 GiBL0
Arete-27B Q4_K_M 权重体积17.2 GBL0
Arete-27B 每 token KV 体积64.0 KiBL0
BotPsy-0.8B 在 hf-mirror 上实际拉到的字节数13272062 BL1
BotPsy-0.8B 应有的文件体积529296960 BL0
DGX Spark #1 板载 NVMe 4K 随机读 IOPS(QD1)4206 IOPSL1
DGX Spark #1 板载 NVMe 随机 8MB 块读(绕页缓存)5917.0 MB/sL1
DGX Spark 128GB 二手挂牌价中位41450 元L0
DGX Spark 512K 上下文剩余内存7.8 GiBL0
DGX Spark 512K 上下文的内存占比93.7 %L0
DGX Spark 单机最低挂牌价33199 元L0
DGX Spark 按最低挂单算的每 GB 单价259 元/GBL0
DGX Spark 板载 NVMe 顺序写(绕页缓存)6489.5 MB/sL1
DGX Spark 板载 NVMe 顺序读(绕页缓存)5893.9 MB/sL1
DGX Spark 相对 5090D 的带宽倍数(慢多少)7.7 倍L0
DGX Spark 统一内存官方标称带宽273 GB/sL0
DGX Spark 统一内存每 GB 单价324 元/GBL0
DGX Spark 装 Praxis-1 的内存余量42 GBL1
DGX Spark 跑 512K 上下文的总账单116 GiBL0
DGX 板载 NVMe 顺序写(16MB 块 O_DIRECT)3.5 GB/sL0
DGX 板载 NVMe 顺序读(16MB 块 O_DIRECT)11.3 GB/sL0
DeepSeek-V4.1-Flash 模型体积(GB 口径)510.31 GBL0
DeepSeek-V4.1-Flash 模型体积(GiB 口径)475.26 GiBL0
DeepSeek-V4.1-Flash 模型体积(du -sb 原始字节)510311051246 BL0
Edge0-145B 专家库 experts.bin 体积40.08 GBL1
Edge0-145B 词表层 ple-fp8.gguf 体积51.2 GBL1
Edge0-145B-NVFP4 专家库体积(对照)47.56 GBL1
Edge0-145B-q3k 仓库总字节(93 文件求和)105368210944 字节L1
GB10 上 NVML 返回 N/A 的显存字段数3 个L0
GEMV 有效带宽(4096² fp16 32MB,bs=1)170.3 GB/sL0
GEMV 有效带宽(4096² fp16 32MB,bs=32)231.1 GB/sL0
HF 缓存目录体积(.cache/huggingface)476 GiBL0
IQ1_S 名义位宽与实际位宽的偏差9.82 %L1
LFM2.5-1.2B F16 单档 GGUF 字节数2343326528 BL1
LFM2.5-1.2B F16 的真实位宽16.0181 bit/参L0
LFM2.5-1.2B KV 实测值相对手算值的倍数1.004 倍L0
LFM2.5-1.2B Q4_K_M 单档 GGUF 字节数730895168 BL1
LFM2.5-1.2B Q4_K_M 在 131,072 上下文下的进程 RSS2968.1 MiBL1
LFM2.5-1.2B Q4_K_M 在 16,384 上下文下的进程 RSS1618.7 MiBL1
LFM2.5-1.2B Q4_K_M 在 32,768 上下文下的进程 RSS1811.5 MiBL1
LFM2.5-1.2B Q4_K_M 在 4,096 上下文下的进程 RSS1473.6 MiBL1
LFM2.5-1.2B Q4_K_M 在 65,536 上下文下的进程 RSS2196.1 MiBL1
LFM2.5-1.2B Q4_K_M 在 8,192 上下文下的进程 RSS1521.8 MiBL1
LFM2.5-1.2B Q4_K_M 的真实位宽4.9961 bit/参L0
LFM2.5-1.2B Q4_K_M 纯权重加载后的进程 RSS(-c 512)1432.6 MiBL1
LFM2.5-1.2B Q5_K_M 单档 GGUF 字节数843354944 BL1
LFM2.5-1.2B Q5_K_M 的真实位宽5.7649 bit/参L0
LFM2.5-1.2B Q6_K 单档 GGUF 字节数962843456 BL1
LFM2.5-1.2B Q6_K 的真实位宽6.5816 bit/参L0
LFM2.5-1.2B Q8_0 单档 GGUF 字节数1246253888 BL1
LFM2.5-1.2B Q8_0 在 131,072 上下文下的进程 RSS3943.0 MiBL1
LFM2.5-1.2B Q8_0 在 16,384 上下文下的进程 RSS2593.3 MiBL1
LFM2.5-1.2B Q8_0 在 4,096 上下文下的进程 RSS2448.8 MiBL1
LFM2.5-1.2B Q8_0 在 65,536 上下文下的进程 RSS3171.1 MiBL1
LFM2.5-1.2B Q8_0 的真实位宽8.5189 bit/参L0
LFM2.5-1.2B Q8_0 纯权重加载后的进程 RSS(-c 512)2415.7 MiBL1
LFM2.5-1.2B QAD-Q4_0 单档 GGUF 字节数695755488 BL1
LFM2.5-1.2B QAD-Q4_0 的真实位宽4.7559 bit/参L0
LFM2.5-1.2B 每 10 亿参数在 Q4_K_M 下占的内存595.58 MiBL0
LFM2.5-1.2B 每 token KV 的 config 手算值12288 B/tokenL0
LFM2.5-1.2B 每 token 的 KV 字节数(Q4_K_M,RSS 斜率实测)12339.5 B/tokenL1
LFM2.5-1.2B 每 token 的 KV 字节数(Q8_0 对照)12338.8 B/tokenL1
LFM2.5-1.2B 的实际参数量(safetensors.total)1170340608 个L1
LFM2.5-1.2B-GGUF 仓库全量字节数14547665824 BL1
LFM2.5-1.2B-GGUF 仓库里 qad 子目录的体积4681379080 BL1
LongCat-2.5 上下文窗口(以官方文档为准)104 KL0
LongCat-2.5 单次输出上限26.2 KL0
LongCat-2.5 权重体积(按 W4A4 推算)800 GBL0
LongCat-2.5 装下所需台数比值(800÷121.7)6.6 台L0
LongCat-2.5 装下所需台数(按 W4A4 推算)7 台L0
MD5 相对 SHA-256 的耗时倍数2.51 倍L0
N/A 机型上仍可读到的 GPU 功耗(空载/带载采样值)25.28 WL0
NCCL all-reduce 10KB 单次延迟(4 机)36.4 μsL0
NCCL all-reduce 1MB busbw(2 机)72.9 GbpsL0
NCCL all-reduce 1MB busbw(4 机)73.4 GbpsL0
NCCL all-reduce 256MB(2 机)110.9 GbpsL0
NCCL all-reduce 256MB(4 机)111.3 GbpsL0
NCCL all-reduce 4KB 单次延迟(4 机)31.5 μsL0
NCCL all-reduce 64MB busbw(2 机)109.6 GbpsL0
NCCL all-reduce 64MB busbw(4 机)110.4 GbpsL0
NCCL all-reduce 8MB busbw(2 机)103.6 GbpsL0
NCCL all-reduce 8MB busbw(4 机)105.9 GbpsL0
NVMe 顺序写 4GB 文件(direct+fsync)6.8 GB/sL1
NVMe 顺序读 4GB 文件(direct)9.9 GB/sL1
PLaMo 0.8B Q4_K_M 权重体积(MiB)544.09 MiBL1
Q4_K_M 权重加载后 RSS 相对文件体积的增幅105.5 %L1
Q4_K_M 相对名义 4bit 的内存超支比例24.9 %L0
Q8_0 权重加载后 RSS 相对文件体积的增幅103.3 %L1
Qwen3.8-27B BF16 分片数18 个L1
Qwen3.8-27B BF16 原仓体积51.77 GiBL1
Qwen3.8-27B BF16 原仓总字节55586107015 字节L1
Qwen3.8-27B BF16 最大单片体积3.715 GiBL1
Qwen3.8-27B GGUF 全量仓总字节480390196319 字节L1
Qwen3.8-27B IQ1_S 名义位宽1.5625 bit/参L1
Qwen3.8-27B MTP 头体积(mtp-Q4_0)1.276 GiBL1
Qwen3.8-27B Q4_K_M 权重体积15.427 GiBL1
Qwen3.8-27B Q8_0 权重体积27.052 GiBL1
Qwen3.8-27B UD-IQ1_S 实际位宽1.716 bit/参L1
Qwen3.8-27B UD-IQ1_S 权重体积5922.3 MiBL1
Qwen3.8-27B UD-IQ2_XXS 权重体积6.711 GiBL1
Qwen3.8-27B 参数量(llama-bench 口径)26.9 BL1
Qwen3.8-27B 可用量化档数31 个L1
Qwen3.8-27B 视觉投影器体积(mmproj-F16)0.864 GiBL1
Spark #1 最大分片的硬链接计数2 个L0
TP4 通信税占比(40 层小消息 all-reduce)8.2 %L0
TP=4 后每卡每 token 需读的权重2.45 GiBL0
W4A4 每参数字节数(推算用常量)0.5 字节L0
all-reduce 4 机 / 2 机 倍数1.004 ×L0
llama.cpp 官方 arm64 预编译包体积18753070 BL1
llama.cpp 官方 arm64 预编译包要求的 glibc 版本2.38 版本号L1
nvidia-smi 读数占整机电源额定的比例15.2 %L1
sglang 设备侧占用(nvidia-smi used_memory,MiB 口径)96693 MiBL0
sglang 预留比例(--mem-fraction-static)80 %L0
一万块能买到多少 GB 统一内存(DGX Spark 口径)30.9 GBL0
三介质读同一份 475.25 GiB 权重的倍数112 倍L1
仓库全量体积相对单档 Q4_K_M 的倍数19.9 倍L0
全量权重体积(GiB 口径)475.25 GiBL1
全量权重总字节(48 个真实生产分片)510296708312 字节L1
六天累计读盘相当于把模型完整读几遍4.23 遍L0
分片写盘峰值读数(3×400MB,含缓存影响)9984.3 MB/sL0
分片写盘:1200 个 1MB 小文件269.7 MB/sL0
分片写盘:1MB 片 vs 400MB 片 倍数35.5 ×L0
分片写盘:3 个 400MB 大文件9577 MB/sL0
分片写盘:300 个 4MB 文件1049.3 MB/sL0
分片写盘:75 个 16MB 文件3102.5 MB/sL0
利用率 10% 时的回本年限72.8 年未标注
利用率 10% 时的月产能29 百万 token未标注
利用率 10% 时的月电费41.47 元未标注
利用率 100%(满产)时的回本年限7.3 年未标注
利用率 100%(满产)时的月产能290.4 百万 token未标注
利用率 100%(满产)时的月电费414.72 元未标注
利用率 20% 时的回本年限36.4 年未标注
利用率 20% 时的月产能58.1 百万 token未标注
利用率 20% 时的月电费82.94 元未标注
利用率 30% 时的回本年限24.3 年未标注
利用率 30% 时的月产能87.1 百万 token未标注
利用率 30% 时的月电费124.42 元未标注
利用率 5% 时的回本年限145.6 年未标注
利用率 5% 时的月产能14.5 百万 token未标注
利用率 5% 时的月电费20.74 元未标注
利用率 50% 时的回本年限14.6 年未标注
利用率 50% 时的月产能145.2 百万 token未标注
利用率 50% 时的月电费207.36 元未标注
利用率 70% 时的回本年限10.4 年未标注
利用率 70% 时的月产能203.3 百万 token未标注
利用率 70% 时的月电费290.3 元未标注
千兆管理网搬运带宽0.936 GbpsL0
单 token 小消息 all-reduce 累计开销(40 层)1.456 msL0
单个工单的 prompt token 量9610 tokenL0
单个网口速率(/sys/class/net 读数)200000 MbpsL0
单台 MemAvailable 原始读数(kB)17493076 KBL0
单台 MemTotal 原始读数(kB)127598752 KBL0
单条请求能拿到的带宽占比(bs=1 ÷ 四台峰值)72.9 %L0
单核 SHA-256 校验吞吐1.49 GB/sL0
反事实:16 层全注意力时 12.8 万上下文所需的 KV3.91 GiBL0
反事实:若 16 层全为全注意力层的每 token KV32768 B/tokenL0
口径①设备侧占用(nvidia-smi,GiB 口径)94.43 GiBL0
口径③进程 RSS 求和(ps -eo rss,python3)1.12 GiBL0
口径⑤cgroup memory.current(容器常规分配)12.84 GiBL0
可用统一内存(Spark #1)121.7 GiBL0
同一 GPU 上另一条 compute-app 的设备侧占用(nvidia-smi 第二行)170 MiBL0
同一批 DGX Spark 挂单的每 GB 单价上沿3125 元/GBL0
同型号同批次板载盘顺序读差异24.4 %L1
同样一万块,DGX Spark 相对 5090D 的容量倍数3.4 倍L0
四台 DGX Spark 统一内存合计(MemTotal × 4)486.75 GiBL0
四台同型机带宽离散度(峰值与最低值之差 ÷ 最低值)3.4 %L0
四台容器视图极差(docker stats)1.98 GiBL0
四台旧权重名义合计2089.92 GiBL0
四台旧权重实际可释放合计1473.02 GiBL0
四台旧权重的重复计算量616.9 GiBL0
四台统一内存余量(合计内存 − 模型体积)11.49 GiBL0
四台统一内存整体占用率(模型体积 ÷ 合计内存)97.64 %L0
四台设备侧占用极差(smi used_memory)2 MiBL0
块大小 128MB 相对 1MB 的读速倍数(Spark #1)3.15 倍L1
官方实验:完成时间压短幅度(上限)30 %L0
实际可释放体积47.21 GiBL0
容器累计写盘量(BlockIO Write,150.97 小时)4.35 GBL0
容器累计读盘量(BlockIO Read,150.97 小时)2.16 TBL0
容器视图内存(docker stats MemUsage)5.405 GiBL1
带宽利用率(实测产出 ÷ 实测带宽上限)60.1 %L0
并发 8 时 GPU 功耗倍差(Spark #1 vs #3)1.12 倍L0
并发 8 时 GPU 功耗读数38.77 WL0
建议留在单机的模型规模上限14.8 BL0
整机可用内存(MemAvailable)16.68 GiBL1
整机已用内存(GB 十进制口径,取材时刻)107.9 GBL1
整机已用内存(MemTotal − MemAvailable)105 GiBL1
新版模型目录体积(dsv41-model)476 GiBL0
旧权重 links=1 真占体积的跨机倍差(Spark #2 vs #1)10.07 倍L0
旧权重中 links=1(真占)体积47.21 GiBL0
旧权重中 links=2(硬链接)体积475.27 GiBL0
旧版模型目录体积(dsv41-model-v41old)476 GiBL0
月云账单(V4-Flash 空闲档 4.5 元/百万)1306.95 元未标注
月云账单(V4-Flash 高峰档 9 元/百万)2613.9 元未标注
月云账单(V4-Pro 高峰档 27 元/百万)7841.71 元未标注
月云账单(峰谷各半 6.75 元/百万)1960.43 元未标注
板载 NVMe 16 线程并发读扩展比0.87 倍L0
板载 NVMe 8 文件并行 O_DIRECT 读7.9926 GB/sL1
板载 NVMe 顺序读单流带宽11.546 GB/sL0
标称带宽达成率(实测峰值 ÷ 标称 273)85.6 %L0
校验 8 进程并行扩展比3.95 倍L0
校验相对纯读的倍数7.51 倍L0
每 token 需读的激活权重(不含 KV 与 embedding)9.81 GiBL0
每台 200G 网口数(4 个中 2 个配地址)4 个L0
混合卷积结构相对全注意力省下的 KV 比例62.3 %L0
满产回本年限(对比 V4-Flash 空闲档)12.6 年未标注
满产回本年限(对比 V4-Flash 高峰档)5.1 年未标注
满产回本年限(对比 V4-Pro 高峰档)1.5 年未标注
满产回本年限(对比峰谷各半档)7.3 年未标注
环上 16 条 TCP 并发吞吐110.37 GbpsL0
环上 4 条 TCP 并发吞吐40.62 GbpsL0
环上 8 条 TCP 并发吞吐100.36 GbpsL0
环上单条 TCP 流吞吐9.86 GbpsL0
环上跨机单向有效带宽(8 流折算)6.9 GB/sL0
环拓扑单边 TCP 8 流(Spark #1→#2)105.2 GbpsL1
环拓扑四条边 TCP 并发 8 流平均带宽102.8 GbpsL1
环网 8 线程扩展比4.11 倍L0
电费平衡点占满产比例(对比 V4-Flash 空闲档 4.5 元)31.7 %未标注
电费平衡点占满产比例(对比 V4-Flash 高峰档 9 元)15.9 %未标注
电费平衡点占满产比例(对比 V4-Pro 高峰档 27 元)5.3 %未标注
电费平衡点占满产比例(对比 峰谷各半 6.75 元)21.2 %未标注
电费平衡点月产(对比 V4-Flash 空闲档 4.5 元)92.2 百万 token未标注
电费平衡点月产(对比 V4-Flash 高峰档 9 元)46.1 百万 token未标注
电费平衡点月产(对比 V4-Pro 高峰档 27 元)15.4 百万 token未标注
电费平衡点月产(对比 峰谷各半 6.75 元)61.4 百万 token未标注
短输出相对长输出的 tok/s 跌幅(64 vs 512 token)26.9 %L0
系统盘已用容量1118 GiBL0
系统盘已用容量倍差(Spark #2 vs #4)1.14 倍L0
绕缓存顺序读带宽11.53 GB/sL0
统一内存只读带宽 sum 512MB(Spark #1)255.9 GB/sL0
统一内存带宽 copy 512MB(Spark #1)229.6 GB/sL0
统一内存带宽 copy 64MB(Spark #1)224.5 GB/sL0
若按名义 4bit 算应占的每 10 亿参数内存476.8 MiBL0
设备侧占用 ÷ 容器视图(Spark #1 同一时刻)17.5 倍L0
读盘 / 写盘 倍数497 倍L0
连接复用相对每文件建连的收益1.0 倍L1
集群四台常驻待机功率读数137.03 WL0
集群并发 1 总输出 token441 tokL1
集群并发 4 总输出 token1696 tokL1
集群并发 4 相对并发 1 的吞吐倍数2.64 倍L1
集群并发 8 总输出 token3573 tokL1
集群并发 8 时单台 GPU 功耗均值(nvidia-smi)36.6 WL1
集群并发 8 时四台 GPU 功耗合计(nvidia-smi)146.3 WL1
集群并发 8 相对并发 1 的吞吐倍数4.02 倍L1
集群月耗电(整机口径)414.72 元L0
集群满产月产能290.4 百万 token未标注

← 返回机器清单