本地部署 Qwen3.8-Flash-Next:131 个分片怎么放盘,别急着合并
360GB 权重、144 个文件、131 个分片。网上说「分片多所以加载慢」,我按同口径重测:单文件 3184.8 MB/s vs 96 分片 2928.1 MB/s,只差 8.8%。合并成一个大文件能省 9.91 秒,而合并本身要 287.8 秒 —— 净亏 28 倍。另给放盘决策表(本机 NVMe / DGX 板载 / NAS 差 73 倍)与一次跑通的命令链路。
本地部署llama.cpp分片模型加载NVMeNAS固态硬盘Qwen部署容量口径这条适用于
- 磁盘可用空间 ≥ 335.30 GiB(GiB 口径,非 GB)
- 目标目录位于本地 NVMe,不是 NAS / SMB 挂载点
- llama.cpp 编译时带 CUDA 后端(否则 -ngl 静默失效)
版本指纹
llama.cpp b11901 / Windows + Linux 双端 / 2026-11-10
具体做法
【四介质 IO 实测(绕页缓存,FILE_FLAG_NO_BUFFERING / O_DIRECT,缓冲区在计时区间外分配)】
· 本机 5090D 系统盘 NVMe:顺序读 3223.4 / 顺序写 2043.8 / 随机 8MB 910.5 / 4K QD1 11442 IOPS(0.087 ms)/ 4K QD32 15736 IOPS MB/s
· DGX Spark #1 板载 NVMe:顺序读 5893.9 / 写 6489.5 / 随机 8MB 5917.0
· DGX Spark #2 板载 NVMe:顺序读 7332.9 / 写 7517.6 / 随机 8MB 7521.9
· NAS 15T(SMB,一千兆 0.95Gbps 线速 95%):顺序读 99.96 / 写 82.8 / 随机 8MB 104.9(12.51 IOPS,延迟 79.96 ms)
两台同型号 DGX Spark 板载盘顺序读差 24.4%(5893.9 vs 7332.9),同批同型号不可互相代表。
本机 4K 随机读延迟 0.087 ms,NAS 79.96 ms —— 差 919 倍。
【360.02 GB 读一遍的时间】DGX #2 49.1 秒 / 本机 1.9 分钟 / NAS 60.0 分钟。最慢与最快差 73 倍,绝对值差 59.2 分钟。往 NAS 写一次按 82.8 MB/s 要 72.5 分钟。
【单文件 vs 96 分片 · 同口径三轮对照(本环新增,推翻第 0 环原始结论)】
第 0 环原始脚本 read_at(h, buf, BLK, 0) 偏移恒为 0,重复读同一块,得 3223.4 MB/s;分片组读 96 份不同内容得 1069.3 MB/s → 相除得出「3.01 倍」。口径不同,结论作废。
重测条件:两组同为 768 MB 总量 / 8 MB 块 / NO_BUFFERING,单文件组偏移递增覆盖全文件(非重复读 0),交替跑三轮各取中位。
· 单个 768MB 顺序读:0.2526 / 0.2529 / 0.2536 s → 中位 0.2529 s = 3184.8 MB/s
· 96 个 8MB 分片逐个读:0.7115 / 0.2750 / 0.2708 s → 中位 0.2750 s = 2928.1 MB/s
真实差距 8.8%(1.088×),不是 3 倍。首轮 0.7115 s 是冷启动(96 个文件刚建完,目录项与 inode 未落盘),第 2/3 轮即降至 0.275 s。96 次 open/close 单独计时 0.0010 s(每个 0.011 ms),元数据开销可忽略。
【合并的成本】读 360.02 GB 按 3223.4 MB/s = 111.7 s;写 360.02 GB 按 2043.8 MB/s = 176.2 s;合计 287.8 s,另需 670.6 GiB 中转空间。合并后仅省 9.91 s(123.0 s → 113.0 s)→ 净亏 277.9 s,是收益的 28 倍。需冷启动 29 次才追回一次合并成本。
【容量口径陷阱】360.02 GB(十进制) = 335.30 GiB(二进制),差 24.7 GiB —— 够放一个 7B 的 Q4 模型。df 报的是 GiB,按 GB 去减会误判还能再塞一个模型。
只测单流,未做多线程聚合读 —— 多线程下 NVMe 扩展比另有账(本机 T=1 5.579 / T=8 6.865 GB/s),NAS 2 线程到顶。NAS 那组未区分 SMB 协议开销与链路开销。「-ngl 99 静默降级」来自 2026-09-30 同型号机器实测记录,本次未在新权重上复现。分片对照只测了 96 个 8MB 这一种切分(对应 768MB 总量),131 分片/360GB 量级未直接实测,为按字节数折算。随机 4K 只在本机测,DGX 与 NAS 未测 4K QD32。