每个常驻模型都有一笔固定显存起步费:权重 262MB 的模型实占 815MB
本机 RTX 5090D 32GB 上对「多模型同时常驻」的显存增量做了 3 轮重复测量(基线含其他常驻负载约 15.2 GiB,故全部结论只用增量)。只挂 embedding 模型(权重 261.6 MiB = 274,290,656 B)时,显存增量 811 / 821 / 814 MiB;Ollama 自报 size_vram 为 335,743,549 B(320.2 MiB),与显卡实占之间差 495 MiB 属于账外开销。再叠上 14B 对话模型(权重 8571.6 MiB)时,增量 9159 / 9220 / 9159 MiB;size_vram 9,075,834,223 B(8655.4 MiB),账外差 524 MiB。两个同时常驻时总增量 25176 / 25236 / 25183 MiB,等于两者相加(811+9159=9970),没有共享复用。全部卸载后显存归还 9923 / 10026 / 9974 MiB,无残留。倍数关系:embedding 815/262 = 3.1 倍,14B 9179/8572 = 1.07 倍——同一笔固定成本,摊在小模型上最难看待。
Ollama常驻显存起步费多模型size_vramVram本地部署算账embedding这条适用于
- 本地用 Ollama 常驻模型(keep_alive 大于 0)
- 同机可能同时常驻多个模型
- 显存余量需按增量估算,不能看总量
版本指纹
Windows 11 + RTX 5090D 32GB;Ollama 0.40.4;qwen2.5:14b Q4_K_M + nomic-embed-text F16
具体做法
环境:本机 RTX 5090D 32GB / Ollama 0.40.4,2026-10-19。
【第 1 轮】基线 15206 MiB → 只挂 embedding 16017(+811)→ 再挂 14B 25176(+9159)→ 全卸 15253(归还 9923)
【第 2 轮】基线 15195 MiB → 只挂 embedding 16016(+821)→ 再挂 14B 25236(+9220)→ 全卸 15210(归还 10026)
【第 3 轮】基线 15210 MiB → 只挂 embedding 16024(+814)→ 再挂 14B 25183(+9159)→ 全卸 15209(归还 9974)
【size_vram 与实占的差额】
· embedding:size_vram 335,743,549 B(320.2 MiB)|显卡实占 +815 MiB|账外 495 MiB
· 14B:size_vram 9,075,834,223 B(8655.4 MiB)|显卡实占 +9179 MiB|账外 524 MiB
【倍数】
· embedding:815 / 262(权重 261.6 MiB)= 3.1 倍
· 14B:9179 / 8572(权重 8571.6 MiB)= 1.07 倍
【叠加性】
· 811 + 9159 = 9970,实测合计 25176 − 15206 = 9970 → 完全相加,无共享
本结论为本机实测(2026-10-19;RTX 5090D 32GB / Ollama 0.40.4)。测量期间本机另有常驻负载占用约 15 GiB 显存,因此所有结论均基于「增量」与「差额」,不使用显存绝对值。账外五百兆为实测增量与 size_vram 之差,其内部构成未进一步拆分,不同驱动版本可能不同。不同模型的层数、量化方式不同,固定成本占比不同,本文数字不外推到其他模型。