推理卡的性价比起跳点
选推理卡时，三个参数最常被放在一起比：显存容量、显存带宽、算力。但对大模型推理来说，它们的权重完全不同。
先看瓶颈在哪
单请求、小批量的推理，瓶颈几乎总是在显存带宽，而不是算力。原因是每个 token 都要把权重从显存读一遍：
单 token 延迟 ≈ 权重字节数 / 显存带宽
以 70B Q4（约 41 GB）为例：
带宽 2 TB/s ⇒ 每 token 约 20 ms
带宽 1 TB/s ⇒ 每 token 约 40 ms这就是为什么两张「算力更高但带宽没涨」的卡，在单请求场景下没有区别。
再看批量
批大小上去以后，算力才开始起作用——同一份权重被多个请求复用，瓶颈从带宽转向计算。
| 场景 | 瓶颈 | 该看什么指标 |
|---|---|---|
| 单用户对话 | 带宽 | GB/s |
| 小团队并发（8–32） | 带宽 + 算力 | 带宽优先 |
| 批量离线推理 | 算力 | TFLOPS |
| 长上下文 | 显存容量 | GB |
三个常见的选型误区
误区一：只看显存容量
96 GB 的卡如果带宽只有 1 TB/s，跑 70B 会比 48 GB / 2.5 TB/s 的卡慢一倍。容量决定「能不能装下」，带宽决定「跑得多快」。
误区二：把多卡当单卡用
张量并行的通信开销随卡数上升。两张卡不是「2 倍速度」，通常是 1.4–1.7 倍，四张卡可能只有 2.2 倍。
误区三：忽略整机成本
高功耗卡需要更强的供电与散热，机箱、电源、电费都要计入。一张 350 W 卡和一张 700 W 卡，三年电费差可以抵半张卡。
一个粗略的决策规则
1. 先按模型大小定显存下限（权重 + KV + 2 GB）
2. 在该显存档位里，选带宽最高的
3. 带宽相同再比算力
4. 最后才看价格与功耗一句话总结
对绝大多数个人与小团队场景，带宽是性价比的真正杠杆；容量只决定门槛，算力只决定批量。