DGX Spark #2

这台机器的坑
统一内存架构：nvidia-smi 显存显示为 N/A 属正常；2026-10-24 补录官方电源口径（此前机型卡无功耗字段）：整机电源 240 W、GB10 芯片 TDP 140 W，余约 100 W 供 ConnectX-7 / Wi-Fi / SSD / USB-C 等外设。🔴 由此产生一个必踩的坑：
报的是 GPU 芯片封装功耗，2026-10-24 实测四台满载仅 146.30 W（单台 34.65–38.77 W），只占整机电源额定 960 W 的 15.2% —— 用它算电费会低估 6.6 倍（63.20 元/月 vs 实际 414.72 元/月）。算钱要用墙上的数，不是芯片里的数；2026-10-31 补录实测口径（四台同时采样 01:00-02:00）：MemTotal = 127,598,752 kB = 121.69 GiB / 台（厂商标称 128 GB 是十进制口径，差 0.4 GiB 来自单位换算与固件预留，不是少给内存）。🔴 显存三项确认在 NVML 层就返回 [N/A]：memory.total = [N/A]、memory.used = [N/A]、utilization.memory = Not Supported，power.limit 同为 [N/A] —— 已做硬件自证（PnP OK / 错误码 0 / nvlddmkm Running / NVML 与 nvidia-smi 版本均 8.17.16.1088），
。⇒ 查内存水位只看 /proc/meminfo 的 MemAvailable（四台实测 16.68 / 17.93 / 18.23 / 18.07 GiB），查模型实际占用看 nvidia-smi --query-compute-apps=used_memory（实测 94.43 GiB），两者都别用 docker stats（实测 5.405 GiB，会高估余量 17.5 倍）。；2026-11-03 补录互联口径（此前机型卡没有这一项，直接影响「能不能多机」判断）：每台有 4 个 200G 网口（
全为 200000），
里 4 个 RoCE HCA 全为 PORT_ACTIVE，但
，另 2 个有物理层、有链路、无地址。⇒ 四台之间不是交换机全互联，而是
（每台只与相邻 2 台直连，共 4 条边，无对角线通路）。实测每条边 8 流 TCP 只能跑 95.6–110.7 Gbps（平均 102.8，对 200G 标称达成率 51.4%），单条 TCP 更只有 40.0 Gbps。⇒
环上必须做两件事：rank 顺序改成物理环序、rendezvous 放管理网；否则 NCCL 会跨对角线建 QP 而超时 110。