标称 4bit 其实是 4.9961，每参数多占 25% 内存
把 GGUF 每个量化档的文件字节数除以官方参数量，得到真实位宽：Q4_K_M 4.9961、Q5_K_M 5.7649、Q6_K 6.5816、Q8_0 8.5189、F16 16.0181 bit/参。多出来的部分是量化块的缩放因子、最小值与对齐填充，而且按比例放大：每 10 亿参数 Q4_K_M 占 595.58MiB，按「4bit」算应是 476.8MiB，多 24.9%。一个 1000 亿参数的模型，名义 46.6GiB、实测 58.2GiB，差 11.6GiB；Q8 要 99.2GiB，比 Q4 多 41.0GiB。
量化GGUFllama.cpp选型显存内存估算位宽大模型这条适用于
- 目标模型的 BF16 源仓库（要能读到 safetensors.total）
- 目标量化档的文件字节数（仓库 API 的 siblings 里就有）
- 一个计算器
版本指纹
LFM2.5-1.2B GGUF 逐文件字节 / safetensors.total / 2026-11-15
具体做法
【逐档真实位宽（LiquidAI/LFM2.5-1.2B-Instruct-GGUF，参数量 1,170,340,608）】
QAD-Q4_0 695,755,488 B 4.7559 bit/参
Q4_K_M 730,895,168 B 4.9961 bit/参 ← 名字里的 4，实际近 5
Q5_K_M 843,354,944 B 5.7649 bit/参
Q6_K 962,843,456 B 6.5816 bit/参
Q8_0 1,246,253,888 B 8.5189 bit/参
F16 2,343,326,528 B 16.0181 bit/参
【每 10 亿参数的内存占用】
Q4_K_M 595.58 MiB（按 4bit 名义应为 476.8 MiB，多 118.7 MiB = 24.9%）【1000 亿参数外推】
名义 4bit 46.6 GiB（按每参数半个字节算）
实测 Q4_K_M 58.2 GiB（差 11.6 GiB）
实测 Q8_0 99.2 GiB（比 Q4 多 41.0 GiB）
16G 卡可用 15.9 GiB Q4 差 42.3 GiB
【仓库体积 vs 单档】
仓库 24 文件 14,547,665,824 B = 13.55 GiB；其中 qad 目录 4,681,379,080 B = 4.36 GiB
单档 Q4_K_M 730,895,168 B = 697.0 MiB；仓库除以单档 = 19.9 倍【位宽为什么不是整数】
量化块要存缩放因子、最小值、对齐填充，这部分开销与权重数量同阶，所以位宽被按比例抬高：
4bit 档 4.99（+24.9%）；8bit 档 8.52（+6.5%）；F16 无量化块 16.02（+0.1%）
档位越低，名义与实际的偏离越大，「4bit 省一半」这个直觉在低位宽上最不准。
本文不含任何模型加载或推理，全部是「逐文件字节数除以官方参数量」的算术值，因此没有 tok/s、没有显存占用实测。1000 亿参数为按位宽等比外推的示例量级，不是某个具体模型的实测占用；真实模型还有 KV cache、框架开销与激活内存，实际需求高于权重本身。位宽里的元数据开销随量化实现不同会浮动，Q4_K_M 在不同模型上大致在 4.9 到 5.1 之间，不是恒定 4.9961。GB 与 GiB 在文中分别标注；1 MiB = 1,048,576 字节。