每个常驻模型都有一笔固定显存起步费:权重 262MB 的模型实占 815MB

成本账 · 3 轮 · 262MB 权重实占 815MBL0整理于 2026-10-19 有效期 30d

本机 RTX 5090D 32GB 上对「多模型同时常驻」的显存增量做了 3 轮重复测量(基线含其他常驻负载约 15.2 GiB,故全部结论只用增量)。只挂 embedding 模型(权重 261.6 MiB = 274,290,656 B)时,显存增量 811 / 821 / 814 MiB;Ollama 自报 size_vram 为 335,743,549 B(320.2 MiB),与显卡实占之间差 495 MiB 属于账外开销。再叠上 14B 对话模型(权重 8571.6 MiB)时,增量 9159 / 9220 / 9159 MiB;size_vram 9,075,834,223 B(8655.4 MiB),账外差 524 MiB。两个同时常驻时总增量 25176 / 25236 / 25183 MiB,等于两者相加(811+9159=9970),没有共享复用。全部卸载后显存归还 9923 / 10026 / 9974 MiB,无残留。倍数关系:embedding 815/262 = 3.1 倍,14B 9179/8572 = 1.07 倍——同一笔固定成本,摊在小模型上最难看待。

Ollama常驻显存起步费多模型size_vramVram本地部署算账embedding

这条适用于

版本指纹

Windows 11 + RTX 5090D 32GB;Ollama 0.40.4;qwen2.5:14b Q4_K_M + nomic-embed-text F16

具体做法

环境:本机 RTX 5090D 32GB / Ollama 0.40.4,2026-10-19。

【第 1 轮】基线 15206 MiB → 只挂 embedding 16017(+811)→ 再挂 14B 25176(+9159)→ 全卸 15253(归还 9923)
【第 2 轮】基线 15195 MiB → 只挂 embedding 16016(+821)→ 再挂 14B 25236(+9220)→ 全卸 15210(归还 10026)
【第 3 轮】基线 15210 MiB → 只挂 embedding 16024(+814)→ 再挂 14B 25183(+9159)→ 全卸 15209(归还 9974)

【size_vram 与实占的差额】
· embedding:size_vram 335,743,549 B(320.2 MiB)|显卡实占 +815 MiB|账外 495 MiB
· 14B:size_vram 9,075,834,223 B(8655.4 MiB)|显卡实占 +9179 MiB|账外 524 MiB

【倍数】
· embedding:815 / 262(权重 261.6 MiB)= 3.1 倍
· 14B:9179 / 8572(权重 8571.6 MiB)= 1.07 倍
【叠加性】
· 811 + 9159 = 9970,实测合计 25176 − 15206 = 9970 → 完全相加,无共享
失效边界
本结论为本机实测(2026-10-19;RTX 5090D 32GB / Ollama 0.40.4)。测量期间本机另有常驻负载占用约 15 GiB 显存,因此所有结论均基于「增量」与「差额」,不使用显存绝对值。账外五百兆为实测增量与 size_vram 之差,其内部构成未进一步拆分,不同驱动版本可能不同。不同模型的层数、量化方式不同,固定成本占比不同,本文数字不外推到其他模型。
← 本地写稿成本分三层:每千字电费 0.0018 元,最贵的是重跑判断时间37 份技能说明书 27 万 token:按需加载撕掉七成,常驻描述只占 3.16% →

← 返回全部排错方案