KV 缓存计算器 KV Cache Calculator

输入硬件 / 模型 / 调度 / 内存卸载参数 → 估算 GPU KV 池、内存卸载容量、可并发上下文数、回搬时间与输出速度。默认值为某 4×RTX 5060 Ti 16G + 60G 内存 + 27B INT8 模型实测口径,可复现本机数字。
 

硬件 Hardware

张
GB
GiB
16G 卡实际可用约 15.57G,驱动预留 ~0.4G。可用显存 = 单卡显存 − 预留。
 
vLLM --gpu-memory-utilization,作用于可用显存。大权重模型(INT8)建议 ≤0.94、NVFP4 可到 0.95;>0.965+大卸载区启动掷硬币(graph 捕获 OOM/死锁风险)。
GB
GB
默认 56G = 本机 fstab 实测(2026-11-13 起)。改回留空则按总内存一半(默认 tmpfs 口径)。offload 区的物理天花板。

模型 Model

GB
磁盘上整个模型目录的大小(权重文件之和,不含 MTP 外挂 draft)。
 
B
fp8≈9890 / nvfp4≈4945 / bf16≈19780 字节。选精度自动填,可手改。
GiB
GiB
非 torch 杂项 ~0.33 + cudagraph ~0.16(27B INT8 实测口径)。小模型可填小。
%
开了投机解码(MTP)时,每条请求还要给 draft 模型单开一组 KV ≈ 实际上下文 × 本比例。 27B INT8+spec4 实测 ≈10%(面板"引擎预留"差额反推)。没开 MTP 填 0。
tok
vLLM 视觉 encoder 缓存**预扣**的 token 数(没图也占着,防带图请求崩溃的定版值 32768)。 纯文本部署填 0。KV 池里要先扣掉它才是请求能用的。

调度 Scheduling

个
tok
= 你设的上下文上限(如 256k → 262144)。prompt+输出 都不能超它。
使用人数 = 最大并发请求数:max-num-seqs 同时也就是你的用户数, 人均速度随并发走物理模型(短上下文几乎不降,长上下文才摊薄,见速度卡)。⚠️ 它是**上限**不是目标:大上下文负载的有效并发 ≈ 可用池 ÷ 平均上下文, 超了不排队而是抢占抖动(KV 反复存内存/搬显存,在跑的全被拖慢),见下方判据。
tok
用来估每人跑完一单的耗时。**默认 4000 tok**(原默认 = 生产计费库 37,728 条请求的 P99 输出,思考 9130 / 非思考 1639 tok,2026-11-15 起改为 4000,与生产准入闸口径对齐)。客户端自己设了 max_tokens 就取 min(本值, max_tokens),按你的实际负载改。

内存卸载 & 速度 Offload & Speed

GB
--kv-offloading-size,TP 全局合计。0 = 不用内存当 KV。超 /dev/shm 上限标红。
GB/s
 
 
GB/s
自动 = 每 lane 带宽 × 宽度:Gen4 x4≈6.7 / x8≈14.5 GB/s(本机实测口径),其余世代按理论 ×0.9 效率估。填**最慢那张卡**的链路(如有物理 x4 槽它就是瓶颈);手填实测值也行。
MB
每卡每步跨卡同步的数据量,本机 27B 实测 42MB(随模型 hidden 变大而变大)。
ms
自动 = AR 量 ×(卡数−1)÷ 最慢链路 = TP4 + Gen4 x4 → 18.8ms(本机实测吻合)。单卡或 P2P 直传时填 0。
tok
decode 每步每请求要重读自己上下文的全量 KV:262k 上下文 fp8 ≈2.6GB/卡,长上下文 decode 显著变慢。默认 100000 = 本机生产典型负载(跑的是 100k~262k 长对话,不是 4k 短问答),照你的实际平均上下文改。2026-11-15 起并发进模型:短上下文加人总吞吐近线性涨、人均几乎不降;长上下文加人才开始摊薄(4×100k 实测人均 53,不是 19)。
×
MTP 每步接受 token 数(每步产出)。无投机填 1.0。随精度自动填:fp8≈2.9、nvfp4≈3.84(本机实测)。
 
带宽上限→实际速度的折扣(attention/KV 读/AR/launch/采样开销折进)。随精度自动填:fp8≈0.44、nvfp4≈0.30(本机实测 76.4 / 99.3 tok/s 反推),可手改。