结论先说：在大模型推理场景里，算力往往不是第一瓶颈，显存带宽才是决定单卡吞吐与响应延迟的关键变量。球友体育技术解读栏目本期用数据解读的方式，把「带宽—吞吐—成本」这条链路拆开，让读者能够自己动手估算，而不是只记住一个结论。

一、为什么带宽比峰值算力更能解释实际吞吐

推理是逐 token 生成的，每生成一个 token，都要把权重和缓存重新读一遍。球友体育在整理公开规格书时发现，很多芯片的峰值算力标称很高，但在解码阶段的实际利用率却远低于训练阶段，原因就在于数据搬运速度跟不上计算单元。

可以用一个简化的「屋顶线」思路理解：当每字节数据只参与很少的运算时，系统就落在带宽受限区。解码阶段恰好属于这一类，因此球友体育建议读者先看带宽，再看算力，最后看两者比值。

  • 权重读取量：与模型参数量成正比，量化位宽越低，读取量越小。
  • 缓存读取量：与上下文长度、批大小成正比，长上下文会明显推高带宽压力。
  • 有效带宽：标称值需乘以可达效率，公开资料中常见效率区间为六成到八成，属示例数据。

二、用三个参数估算单卡每秒可生成的 token 数

结论前置：单卡解码吞吐大致等于「有效带宽 ÷ 每 token 需要搬运的字节数」。球友体育把公式拆成三步，读者代入自己关心的模型规模即可得到量级判断。

第一步，算出每 token 的权重量。以千亿参数模型、8 位量化为例，权重约一百吉字节量级。第二步，加上缓存读取量，批大小为 1 时缓存占比小，批大小上升后缓存读取会快速增长。第三步，用有效带宽除以总字节数，得到理论 token 速率上限。

  • 批大小提升能摊薄权重读取，但会抬高缓存读取，存在最优点。
  • 量化位宽从 16 位降到 8 位，权重读取量减半，吞吐上限近似翻倍。
  • 上下文从短文本扩展到长文本，缓存读取可能成为新的主导项。

球友体育提醒，这只是上限估算，实际还要扣掉调度开销与并行效率损失，因此真实值通常低于计算值。

三、封装与显存类型如何改变带宽曲线

结论前置：先进封装让显存更靠近计算单元，缩短走线、降低功耗，是当前提升带宽能效比的主要路径。球友体育在梳理公开技术路线时看到，宽接口、短距离、高密度互连是共同方向。

对读者而言，需要关注三个可核验的公开指标：接口位宽、单引脚速率、封装形式。三者相乘得到理论带宽，再结合散热与供电条件判断可持续运行区间。球友体育建议把这些指标做成表格横向对比，比单看一个数字更有意义。

  • 接口位宽决定并行通道数量，是带宽的乘数项。
  • 单引脚速率受信号完整性与功耗约束，提升空间有限。
  • 封装形式影响走线长度与散热路径，间接决定可持续带宽。

四、把数据解读落到选型与内容消费上

结论前置：带宽数据只有放进具体场景才有意义，离线批处理看吞吐，在线服务看延迟，边缘端看能效比。球友体育建议读者在选型时先明确场景，再对照带宽、容量、能效三项指标做取舍。

阅读公开资料时，注意区分标称峰值与可达效率，注意区分理论带宽与实测带宽，注意区分单卡数据与整机数据。球友体育在技术解读栏目会持续用这种结论前置、数据可复算的方式拆解概念，读者可通过安卓、苹果 iOS、Windows 电脑版、Mac 电脑版客户端获取更新内容，逐步建立系统化的技术认知。