KV 缓存计算器
KV Cache Calculator
输入硬件 / 模型 / 调度 / 内存卸载参数 → 估算 GPU KV 池、内存卸载容量、可并发上下文数、回搬时间与输出速度。默认值为某 4×RTX 5060 Ti 16G + 60G 内存 + 27B INT8 模型实测口径,可复现本机数字。
⚠ 当前参数来自分享链接
✓ 已自动恢复你上次的参数
🔗 复制分享链接
📄 下载参数+结果 .md
📷 保存网页截图
↺ 恢复默认(本机口径)
硬件 Hardware
GPU 数量
Number of GPUs
张
单卡显存
VRAM per GPU
GB
驱动预留
Driver reserve
GiB
16G 卡实际可用约 15.57G,驱动预留 ~0.4G。可用显存 = 单卡显存 − 预留。
显存利用率
GPU memory utilization
vLLM --gpu-memory-utilization,作用于可用显存。大权重模型(INT8)建议 ≤0.94、NVFP4 可到 0.95;>0.965+大卸载区启动掷硬币(graph 捕获 OOM/死锁风险)。
系统总内存
Total system RAM
GB
/dev/shm 上限
/dev/shm limit (tmpfs)
GB
默认 56G = 本机 fstab 实测(2026-11-13 起)。改回留空则按总内存一半(默认 tmpfs 口径)。offload 区的物理天花板。
模型 Model
模型文件总大小(权重)
Model weights total size
GB
磁盘上整个模型目录的大小(权重文件之和,不含 MTP 外挂 draft)。
KV 缓存精度
KV cache dtype
fp8(8-bit,默认)
nvfp4(4-bit)
bf16(16-bit)
自定义(手填下方)
每 token 每卡字节
KV bytes / token / GPU
B
fp8≈9890 / nvfp4≈4945 / bf16≈19780 字节。选精度自动填,可手改。
每卡激活峰值
Peak activation per GPU
GiB
每卡杂项开销
Non-torch + cudagraph per GPU
GiB
非 torch 杂项 ~0.33 + cudagraph ~0.16(27B INT8 实测口径)。小模型可填小。
MTP draft KV 占比
Draft (MTP) KV fraction per request
%
开了投机解码(MTP)时,每条请求还要给 draft 模型单开一组 KV ≈ 实际上下文 × 本比例。 27B INT8+spec4 实测 ≈10%(面板"引擎预留"差额反推)。没开 MTP 填 0。
编码器缓存预算
Encoder cache budget
tok
vLLM 视觉 encoder 缓存**预扣**的 token 数(没图也占着,防带图请求崩溃的定版值 32768)。 纯文本部署填 0。KV 池里要先扣掉它才是请求能用的。
调度 Scheduling
最大并发请求数
max-num-seqs
个
单请求上下文
max context per request
tok
= 你设的上下文上限(如 256k → 262144)。prompt+输出 都不能超它。
使用人数 = 最大并发请求数
:max-num-seqs 同时也就是你的用户数, 人均速度随并发走物理模型(短上下文几乎不降,长上下文才摊薄,见速度卡)。⚠️ 它是**上限**不是目标:大上下文负载的有效并发 ≈ 可用池 ÷ 平均上下文, 超了不排队而是
抢占抖动
(KV 反复存内存/搬显存,在跑的全被拖慢),见下方判据。
每人预估输出
Estimated output per user
tok
用来估每人跑完一单的耗时。**默认 4000 tok**(原默认 = 生产计费库 37,728 条请求的 P99 输出,思考 9130 / 非思考 1639 tok,2026-11-15 起改为 4000,与生产准入闸口径对齐)。客户端自己设了 max_tokens 就取 min(本值, max_tokens),按你的实际负载改。
内存卸载 & 速度 Offload & Speed
内存卸载区
KV offload size
GB
--kv-offloading-size,TP 全局合计。0 = 不用内存当 KV。超 /dev/shm 上限标红。
单卡显存带宽
VRAM bandwidth per GPU
GB/s
PCIe 世代
PCIe generation
PCIe 3.0
PCIe 4.0
PCIe 5.0
PCIe 宽度(最慢卡)
PCIe width of slowest GPU
x1
x4
x8
x16
最慢卡 PCIe 带宽(自动/可改)
Slowest PCIe link bandwidth
GB/s
自动 = 每 lane 带宽 × 宽度:Gen4 x4≈6.7 / x8≈14.5 GB/s(本机实测口径),其余世代按理论 ×0.9 效率估。填**最慢那张卡**的链路(如有物理 x4 槽它就是瓶颈);手填实测值也行。
每卡每步 AR 通信量
AllReduce bytes per step per GPU
MB
每卡每步跨卡同步的数据量,本机 27B 实测 42MB(随模型 hidden 变大而变大)。
AllReduce 单步下限(自动/可改)
AllReduce per-step floor
ms
自动 = AR 量 ×(卡数−1)÷ 最慢链路 = TP4 + Gen4 x4 → 18.8ms(本机实测吻合)。单卡或 P2P 直传时填 0。
速度估算上下文长度
Context length for speed estimate
tok
decode 每步每请求要重读自己上下文的全量 KV:262k 上下文 fp8 ≈2.6GB/卡,长上下文 decode 显著变慢。
默认 100000 = 本机生产典型负载
(跑的是 100k~262k 长对话,不是 4k 短问答),照你的实际平均上下文改。
2026-11-15 起并发进模型
:短上下文加人总吞吐近线性涨、人均几乎不降;长上下文加人才开始摊薄(4×100k 实测人均 53,不是 19)。
投机解码系数
Speculative (MTP) factor
×
MTP 每步接受 token 数(每步产出)。无投机填 1.0。随精度自动填:fp8≈2.9、nvfp4≈3.84(本机实测)。
实测效率系数
Measured efficiency factor
带宽上限→实际速度的折扣(attention/KV 读/AR/launch/采样开销折进)。随精度自动填:fp8≈0.44、nvfp4≈0.30(本机实测 76.4 / 99.3 tok/s 反推),可手改。