4B 模型显存别只算权重：权重决定装不装得下，KV 决定能挂几路

EdgeRock-4B（2026-11-01 开源）把 KV 做成常数：每序列 attention KV 恒定 72 MiB、含循环矩阵的持久历史 97.76 MiB，与上下文长度无关。官方称 256K 上下文下比 Qwen3.5-4B 省 99.1%，据此反推对方一条 256K 序列要 10.61 GiB。同为 4B BF16 权重 8GB 的模型，同一张 16G 卡：恒定 KV 能挂 78 路，线性 KV 连 1 路都挂不满（差 3.2GB），比值 111 倍。买卡买的是「能同时服务多少人」，不是「单条有多快」—— 这一条比跑分表更能决定预算。

这条适用于

• 知道目标卡的可用容量（扣掉系统与框架占用后的真实可用值）
• 拿到模型卡或技术报告里的 KV 描述（是否与上下文长度相关）
• 明确自己的业务是「少量长文档」还是「大量短问答」—— 两者的最优架构不同

版本指纹

EdgeRock-4B 官方模型卡 + arXiv:2610.10118（2026-11-01 开源）

具体做法

核算对象：EdgeRock-4B（岩芯矩阵 Rock Matrix 联合港科大、CMU，2026-11-01 开源，模型卡 rockmatrix-ai/EdgeRock，技术报告 arXiv:2610.10118）。

【官方给出的三个结构事实】
· 每序列 attention KV 固定 72 MiB（BF16），与上下文长度无关
· 含 FP16 循环矩阵与辅助状态的持久历史 97.76 MiB/序列
· 256K 上下文下 BF16 attention KV 比 Qwen3.5-4B 小 99.1%

【反推对方（这是本文唯一一处推导，链条写全）】
省 99.1% ⇒ 剩下 0.9% ⇒ 是对方的 1/111
97.76 MiB × 111 ≈ 10,862 MiB ≈ 10.61 GiB
⇒ Qwen3.5-4B 在 256K 上下文下，一条序列的 KV 约 10.61 GiB

【摊到不同容量的卡上（4B BF16 权重 8.00 GB，先减权重）】
16G 卡：剩 8.00 GB → EdgeRock 78 路 ／ Qwen3.5-4B 0.70 路（差 3.2GB，连 1 路都放不下）
24G 卡：剩 16.00 GB → 156 路 ／ 1.40 路
32G 卡：剩 24.00 GB → 234 路 ／ 2.11 路
⇒ 16G 卡上两者比值 ≈ 111 倍

【这 111 倍换来什么、付出什么】
换来：并发能力（同时服务多少路长文档会话）
付出：模型不再看全部历史 —— 24 层 Gated DeltaNet 保留，8 层全注意力换 1024 窗口滑窗，另加固定容量锚点库（每 256 候选比对一次，只留最高分 1024 条）
⇒ 换来的是并发，可能是超长文档里某一句的精确召回

【买卡账：16G 卡救回来了，48G 卡可以省掉】
手里有 16G 或 24G 卡、要给团队做长文档问答的：这张卡之前基本被判死刑 ——
单体 4B 模型 256K 上下文的 KV 要 10.61 GiB，一张 16G 卡连一条会话都放不满，
按老架构你得去买 48G 的卡。固定 KV 的架构让 16G 卡能挂 78 路，
等于省掉一张 48G 贵卡的预算。但别把「能挂 78 路」当结论：8.00 GB 余量只是权重按 BF16 理论值相减，
实际还要扣 CUDA context、框架运行时、显存碎片，真实并发一定低于 78。

【不拿厂商自测分当结论】
厂商报的 82.9% AIME 2024-2026 mean pass@1 是他们自测的，没有第三方复现，本文不当结论引用。
但 KV 是常数这件事是结构事实，不是跑分 —— 数层数、数字段就能验，不需要信任任何自测分数。

【为什么本文没有运行时实测】
四台 DGX Spark 均在跑生产负载，MemAvailable 仅 19-20 GB，腾不出干净环境，
EdgeRock-4B 本体未下载、未加载、未跑（19-20 GB 就是当时的真实余量）。
不拿扰动生产的数字当实测，所以全部并发数与 KV 体积都标注为「按官方公开参数算术推导」。

← 返回全部排错方案