自回归生成的串行瓶颈要理解投机解码为何能带来数量级的加速,首先必须精确地理解它要解决的问题——自回归生成(autoregressive generation)的串行瓶颈。这不是一个可以靠硬件升级或工程优化绕过的软约束,而是 Transformer 架构在数学上自带的硬性限制。串行等待:一步一个 token 的强制节奏大语言模型的生成过程,本质是一个逐 token 递推的马尔可夫过程。在第ttt步,模型接收前t−1t-1