Arete-27B 装得下吗：混合注意力省 75% KV，但省不动权重
Arete-27B 64 层里只有 16 层是全注意力，每 token KV 只要 64 KiB，对全 64 层口径压缩 4.00 倍，256K 上下文 KV 从 64 GiB 降到 16 GiB —— 这部分是真的。但权重一分没省：Q4_K_M 是 17.20GB（16.02 GiB），16G 卡可用 15.9 GiB，差 1.09 GiB 就是装不上。24G 卡只是刚好够跑 Q4，往上每升一档掉一大截上下文。这 4 倍要等你先有足够显存才开始兑现。
显存量化Arete-27B本地部署GGUFKV缓存选型16G24G混合注意力这条适用于
- 能读取模型仓库的 config.json 与文件列表
- 不需要下载权重，也不需要显卡
版本指纹
dsvd-20261108
具体做法
混合注意力模型的宣传点通常是「省显存」。这个说法对一半。
省的是上下文那部分的增长斜率。Arete-27B 的 64 层里 48 层是线性注意力，不按上下文长度存 KV，所以每 token 只要 64 KiB，而不是全 64 层口径的 256 KiB。256K 上下文从 64 GiB 降到 16 GiB，这个 4 倍是真的。
但权重一分没省。27.36B 参数在 BF16 下就是 54.74 GB，能压到 17.20 GB 靠的是量化，跟注意力结构毫无关系。所以对 16G 卡用户来说，它的友好程度和任何一个 27B 稠密模型一样：都装不下。
真正兑现那 4 倍的前提是「你已经有足够显存」。一张 32G 卡跑 Q4_K_M，普通 27B 全注意力模型要 64 GiB KV 直接出局，Arete 只要 16 GiB 塞得进去。这就像「这车很省油」—— 前提是你先买得起这车。
失效边界
① 权重体积与各档字节来自仓库 API 真源，层结构来自官方 config 原文；② KV 体积与各卡可开上下文全部是算术推导，不是实测运行 —— Arete-27B 本体未下载未加载；③ 统一扣 1 GiB 作为激活与计算图预留，这是工程惯例取值，不同推理框架实际开销不同，真实可开上下文会低于本文推算；④ 4090 的 24G 为标称值，该卡不在本站测试床内，仅作对照；⑤ 名义位宽与实际位宽差异（Q4 标 4 bit 实际 5.03 bit）是 GGUF 的 K-quant 混精度结构决定的，不是哪个转换脚本算错。
① 权重体积与各档字节来自仓库 API 真源，层结构来自官方 config 原文；② KV 体积与各卡可开上下文全部是算术推导，不是实测运行 —— Arete-27B 本体未下载未加载；③ 统一扣 1 GiB 作为激活与计算图预留，这是工程惯例取值，不同推理框架实际开销不同，真实可开上下文会低于本文推算；④ 4090 的 24G 为标称值，该卡不在本站测试床内，仅作对照；⑤ 名义位宽与实际位宽差异（Q4 标 4 bit 实际 5.03 bit）是 GGUF 的 K-quant 混精度结构决定的，不是哪个转换脚本算错。