DGX Spark 双网怎么测：千兆口 118.7 MB/s，200G 环网 16 流 13.8 GB/s

环境与安装 · 约 5 步 / 30 分钟实测L0整理于 2026-11-05 有效期 30d

同一批文件，千兆管理网实测 118.7 MB/s，200G 环网 16 流 13796.5 MB/s，差 116 倍。但单流只跑出 4.9% —— 所以别用 iperf3 单流跑一把就下结论：服务端还得一线程一连接，否则多流其实在排队，会把 200G 的网误判成 10G。四步顺序做完再信数字。

DGX Spark内网带宽TCP多流200G千兆打流部署网络测速环网

这条适用于

两台及以上的 Linux 机器，至少一对之间有高速直连口
两端能跑 Python 3.8+（零第三方依赖）
知道对端 IP 与网口名

版本指纹

Python 3 标准库 socket；Linux /sys/class/net 与 iproute2；Windows Get-NetAdapter

具体做法

【实测条件】2026-11-05 00:12-00:20。纯 Python socket 打流，不装 iperf3；服务端每连接一线程，客户端多流并发，每档 6 秒。管理网路径 5090D → 对端管理机与 → 集群节点1（含反向 1 档）；环网路径节点1 → 节点2（环网第一段）1/4/8/16 流，节点4 → 节点2（环网第二段）1/8 流做独立复测。

【千兆管理网】
单流 118.7 MB/s（0.95 Gbps）｜4 流 118.5 MB/s（0.95 Gbps）｜→集群节点1 单流 117.3 / 4 流 118.6｜反向 117.7
1 流与 4 流数字一模一样 → 瓶颈不在 TCP 窗口、SMB 或服务端，链路已满。118.7 / 125 = 95.0% 线速，余下 5% 是 TCP/IP 头开销。

【200G 环网 节点1→节点2】
1 流 1232.7 MB/s = 9.86 Gbps（4.9%）
4 流 5077.2 MB/s = 40.62 Gbps（20.3%）
8 流 12544.6 MB/s = 100.36 Gbps（50.2%）
16 流 13796.5 MB/s = 110.37 Gbps（55.2%）
单流到 16 流 11.19 倍。另一条边 节点4→节点2 单流 9.47 / 8 流 110.80，同形 → 结构性上限。

【两网比值】13796.5 ÷ 118.7 = 116.2 倍（标称差 200 倍）。
搬 1.5TB 权重：1G 3.52 小时 vs 200G 109 秒（按实测带宽换算，非端到端实测）。

【三个前提事实】
① 本机网卡 Realtek PCIe 5GbE，但 LinkSpeed 与 EEE Max Support Speed 都只到 1.0 Gbps ——不是改驱动能解决的，属对端口或线材限制。
② 四台 DGX 的 200G 口只用于机器之间，不接交换机，没有到本机的路径；管理口全部 1000Mb。所以普通机器全挂在 1G 那一侧。
③ 环上没有集群节点1 到集群节点4 的直达：掉默认网关，ping 3 发 0 收。

【顺手答完的一个悬念】NAS 单流读 80.8 MB/s，4 线程读 124.5 MB/s（1.04 Gbps），越过 1G 标称 → 盘不慢，是「SMB 单流 + 千兆链路」共同卡住的。你的 NAS 慢，先别买盘，先加线程。

【更正】2026-11-03 记录的「单流 40.0 Gbps、占 20%」作废：那是串行 accept 服务端的假值，单流真实值 9.86 Gbps（4.9%），扩展比被严重低估。原始数据已标 valid=false。

【换算成时间成本（落点）】
搬 1.5TB 权重：千兆管理网 3.52 小时（3 小时 29 分钟），200G 环网 16 流 109 秒。
差出来的 3 小时 27 分钟不是一次性成本 —— 每换一个模型版本就重付一次。
一天搬一趟、一个月 22 天，就是 76 小时干等；你这个月的模型如果超过 1TB，光搬一趟就是 3 小时起。

【NAS 那一档的口径】
1 线程读 1024MB 得 80.8 MB/s；4 线程各读 256MB 得 124.5 MB/s（1.04 Gbps），比单流快 54%。
盘不慢，是「SMB 单流 + 千兆链路」一起卡住的 —— 先加线程，别先买盘。

失效边界
只测了 TCP 层，没测 RDMA / RoCE 直连（若用 GPUDirect 数值会不同）。200G 达成率仅 55.2%，成因未定位：PFC / ECN 配置、GPUDirect 是否生效、PCIe 通道数、单口还是双口绑定，这四项都没测，文中只写现象不写归因。1.5TB 的 3.52 小时与 109 秒是按实测带宽换算，不是真的搬了一遍，端到端还受小文件数量与协议开销影响。本机 5GbE 为何只协商 1G 未做换线换口对照，只确认事实未定位原因。NAS 硬件规格仍未知（无 SSH，仅 SMB 445 可达），所以只能说不慢，不能说是什么盘。

← 返回全部排错方案