1. 项目概述与核心挑战在机器人操作领域我们正经历一场由大模型驱动的范式变革。视觉-语言-动作模型也就是大家常说的VLA模型通过将强大的视觉理解、语言指令解析和动作生成能力整合到一个统一的框架中让机器人能够理解像“把桌上的红色杯子拿给我”这样复杂的自然语言指令并执行相应的抓取动作。这听起来像是科幻电影里的场景但如今RT-2、OpenVLA、CogACT等模型已经将其变为现实在实验室和仿真环境中展现出了令人惊叹的通用性和泛化能力。然而当我和团队真正尝试将这些前沿模型部署到需要实时响应的机器人平台上时一个巨大的“拦路虎”出现了推理速度。理想很丰满现实却很骨感。这些模型的强大性能建立在一个庞大的视觉-语言主干网络上。在闭环控制中机器人需要以高频例如5-10Hz持续感知环境、理解指令并生成动作。这意味着在每个控制步几十到一百毫秒内我们都需要将这个“庞然大物”完整地运行一遍。结果就是即使使用顶级GPU单次推理的延迟也常常高达数百毫秒导致控制频率骤降机器人动作变得迟缓、卡顿在动态环境中完全失去了实时交互的能力。这就像给F1赛车装上了拖拉机的发动机空有先进的底盘和空气动力学设计却根本跑不起来。更令人头疼的是传统的模型加速方法在这里似乎有些“水土不服”。早期我们尝试了静态模型压缩比如剪枝和量化。这些方法确实能减小模型体积但它们是一种“一刀切”的优化无论机器人是在执行需要毫米级精度的插孔任务还是在执行简单的直线移动模型的计算量都是固定的。这显然不是最优解。后来动态计算技术进入了我们的视野比如根据图像内容动态剪除不重要的视觉令牌或者跳过网络中不必要的前馈层。这些方法比静态压缩灵活但它们大多只盯着视觉复杂度做文章。我们很快发现了一个关键矛盾一个视觉上极其复杂的场景比如堆满杂物的桌面对于机器人来说可能只是需要快速掠过、无需精细处理的“过境”阶段而一个视觉上极其简单的场景比如一个光滑平面上的单一物体却可能对应着需要全身心投入的精密对齐和抓取动作。视觉复杂度与操控难度并不总是正相关。这个发现让我们意识到问题的核心可能不在于“看”到了什么而在于“要做什么”。机器人的动作上下文——它刚刚执行了什么动作、当前处于任务流程的哪个阶段、下一步的意图是什么——这些信息才是决定当前需要多少“脑力”计算资源进行推理的真正指挥棒。基于这个核心洞察我们提出了AC2-VLA框架。它的目标不是盲目地削减计算而是让模型学会“聪明地偷懒”根据动作上下文自适应地在时间、空间和深度三个维度上动态分配计算资源在保证任务成功率的前提下实现极致的推理加速。下面我就来详细拆解我们是如何实现这一目标的。2. AC2-VLA核心设计思路让计算跟着“动作”走AC2-VLA的设计哲学非常明确以动作为中心进行自适应计算。我们不再将VLA模型视为一个在每个时间步都必须完整执行的静态函数而是将其视为一个可以根据当前任务“紧迫度”和“复杂度”动态调整工作模式的智能体。整个框架的核心是一个轻量级的动作先验路由器它就像整个系统的“调度中心”。2.1 动作先验路由器系统的智能调度中心这个路由器的输入是我们精心设计的动作中心条件向量。它融合了多方面的信息上一个动作这是最直接、最廉价的先验。机器人手臂是正在高速运动还是已经接近目标保持微调不同的运动状态对感知精度的要求天差地别。我们直接将上一时刻的动作向量编码后输入路由器。当前视觉观测的摘要我们不需要将完整的、高维的视觉特征图喂给路由器那太笨重了。相反我们使用一个轻量的混合池化操作提取视觉特征的全局摘要例如均值池化和最大值池化的结合快速捕捉场景的宏观信息。语言指令的嵌入摘要同样我们对语言指令的嵌入进行池化获取指令的语义核心。这一步避免了为路由决策而额外运行一次完整的语言编码器。动作头内部状态对于扩散或流匹配这类生成式动作头其去噪或生成的步数索引也包含了重要的时序信息我们通过正弦编码将其融入。缓存状态提示如果启用了缓存机制我们还会加入一个关于缓存键的量化提示帮助路由器判断当前状态是否与缓存中的历史状态足够相似。所有这些信息经过一个小型多层感知机融合后就形成了动作条件向量。这个向量承载了“当前要做什么”以及“正处于什么状态”的核心信息。基于这个向量路由器会同步预测三组控制门缓存重用门一个标量概率判断当前时刻是否可以安全地复用上一时刻的计算结果认知缓存从而完全跳过昂贵的主干网络前向传播。令牌剪枝门为一组视觉令牌图像被分割成的多个小图像块中的每一个预测一个“保留分数”。分数低的令牌被认为是与当前操控阶段无关的“背景”或“干扰信息”将在后续计算中被物理移除。层跳过门为Transformer主干网络的每一层预测一个“执行概率”。概率低的层将被有条件地跳过减少网络的计算深度。这里的关键在于“统一”与“协同”。传统方法可能只优化其中一个维度比如只做令牌剪枝但AC2-VLA的路由器是联合优化的。它能够做出这样的决策“当前机器人正在稳定地接近目标视觉变化不大缓存重用概率高且只需要关注目标物体局部区域大量令牌可被剪枝同时高层的语义推理需求较低可跳过部分深层网络”。这种多维度的联合决策是实现高效计算的关键。2.2 三维度计算冗余的协同利用我们的框架系统性地挖掘了VLA模型在三个互补维度上的结构化冗余时间维度冗余在高速闭环控制中相邻时间步的观测和机器人状态往往是高度连续的。如果机器人正在平稳移动相邻两帧图像对应的场景理解和推理结果可能非常相似。认知缓存机制就是为了利用这种冗余。当路由器判断可以重用时我们直接使用缓存的上一个时间步的多模态特征完全跳过主干网络计算这是最极致的加速。空间维度冗余一张高分辨率图像被转换成数百甚至上千个视觉令牌。但在执行“拧瓶盖”这个动作时模型真的需要同等关注远处的窗帘和桌上的书本吗显然不需要。动作上下文感知的令牌剪枝机制会让路由器根据当前任务阶段动态地聚焦于与操控相关的图像区域如瓶盖和机械手末端而抑制不相关的背景令牌。这不仅减少了计算量某种意义上也是一种注意力引导能提升模型在复杂环境中的鲁棒性。深度维度冗余Transformer网络通常由数十层组成。早期的层更偏向于提取低级特征而深层负责更高级的语义融合和推理。我们的实验发现对于许多常规的操控动作并不总是需要“动用”所有深层网络。条件层执行机制允许路由器在认为当前推理需求较低时跳过一部分中间层或深层直接利用较浅层提取的特征进行决策从而减少计算深度。将这三个维度的优化统一在一个以动作为条件的决策框架下是AC2-VLA区别于之前所有工作的核心创新点。它不是三个独立技巧的简单堆叠而是一个有机协同的系统。3. 从理论到实践关键实现细节与避坑指南有了好的设计思路如何将其高效、稳定地实现出来才是工程上的挑战。在这一部分我将分享AC2-VLA几个核心模块的实现细节以及我们踩过的一些“坑”。3.1 认知缓存不只是“记住”更要“匹配”缓存机制听起来简单但实现一个在动态机器人环境中既高效又鲁棒的缓存系统需要仔细设计。缓存键的设计我们不能直接用原始图像或高维特征作为键那太占内存且匹配效率低。我们的键由两部分组成动作增量代理我们对上一帧到当前帧的机器人动作变化量如末端执行器位移的范数进行量化。这个值很小意味着机器人几乎静止或匀速运动状态连续性强重用可能性高。视觉哈希我们对池化后的视觉特征进行归一化然后通过一个固定的随机投影矩阵降维再进行量化哈希。这种方法计算轻量且对光照、视角的微小变化有一定鲁棒性。缓存策略我们区分了“重用请求”和“缓存命中”。路由器根据动作上下文预测一个高重用概率这只是“请求”。系统会拿着构建好的键去查询缓存。只有当找到匹配的条目时才发生实际的“命中”并重用特征。如果请求了但未命中我们仍会执行完整计算并将结果写入缓存但仅当本次请求了重用却未命中时才写入。这个策略避免了缓存被大量不常用的状态污染保证了缓存的有效性。实操心得初期我们尝试了更复杂的视觉特征匹配但发现计算开销甚至可能抵消缓存带来的收益。最终轻量化的哈希方案在精度和效率之间取得了最佳平衡。另外缓存大小需要根据任务节奏设置上限并实现淘汰策略如LRU防止内存无限增长。3.2 令牌剪枝如何“物理移除”并保持位置感知简单的注意力掩码虽然能在逻辑上屏蔽令牌但无法带来实际的墙钟时间加速因为矩阵运算的维度并未改变。为了实现真正的加速我们必须进行物理令牌压缩将需要保留的令牌从序列中提取出来组成一个更短的序列输入给后续的Transformer层。这带来了一个关键问题位置编码错乱。许多VLA模型使用RoPE等位置感知的注意力机制。如果简单地压缩令牌并重新索引原来在图像坐标(10,20)处的令牌其位置信息就会丢失导致模型的空间理解能力受损。我们的解决方案是位置对齐。在压缩令牌时我们同时记录每个被保留令牌在原序列中的索引。在应用RoPE时我们不是使用压缩后的新索引而是使用其原始的位置索引。对于文本令牌我们将其位置设置为紧接着原始视觉令牌序列的末尾。这样就完美保留了所有令牌的绝对和相对位置信息。训练技巧在训练阶段我们使用“软剪枝”以保持梯度流。具体来说我们不直接丢弃令牌而是将每个令牌的嵌入向量乘以其“保留分数”一个0到1之间的值。这样分数低的令牌贡献度降低但梯度仍可回传有利于路由器的训练。只有在推理时我们才执行“硬剪枝”Top-K选择以获得最大加速。3.3 条件层执行动态批处理与梯度流层跳过不是简单地让某些层的权重为0那无法节省计算。我们的实现是在每个Transformer块外包裹一个轻量门控。对于第ℓ层其前向传播变为h(ℓ1) h(ℓ) αt,ℓ * (Fℓ(h(ℓ)) - h(ℓ))其中αt,ℓ是由路由器预测的该层执行门控值。当αt,ℓ接近0时该层的输出几乎等于输入相当于跳过了该层的计算。高效实现在推理时我们将αt,ℓ二值化0或1。对于一个大批次中不同样本可能跳过不同层的情况我们采用动态子批处理将当前层需要执行的样本聚集起来作为一个子批次送入该层进行计算然后将结果散射回原始批次对应的位置。这比条件判断每个样本再计算要高效得多。训练稳定性在训练初期我们将层执行门的偏置初始化为倾向于全部执行即α接近1然后随着训练逐步放松。同时我们在损失函数中加入了针对层执行和令牌保留的预算正则项防止路由器过度剪枝导致模型崩溃。3.4 动作引导的自蒸馏训练如何教会路由器“偷懒”让一个轻量级路由器学会协调如此复杂的决策同时还要保证最终的动作输出与原始“教师模型”尽可能一致这是训练的核心挑战。我们采用了动作引导的自蒸馏方案。我们冻结了预训练好的、性能强大的稠密VLA模型如CogACT作为“教师”。AC2-VLA框架包含路由器作为“学生”。在训练时对于同一批数据教师模型执行标准的、完整的稠密前向传播。学生模型则执行我们设计的、带有缓存/剪枝/跳过的稀疏前向传播。蒸馏损失主要包含两部分动作输出对齐强制学生模型预测的动作对于扩散模型即预测的噪声与教师模型的预测尽可能接近。这是保证任务性能不下降的根本。认知特征对齐除了最终动作我们还让学生模型中间的多模态骨干网络输出特征向教师模型的特征靠拢。这为路由器的决策提供了更丰富的监督信号有助于其学习在“偷懒”时哪些信息是必须保留的核心。此外我们还加入了时间平滑正则项惩罚路由器在相邻时间步做出剧烈变化的决策比如前一帧重用缓存后一帧突然执行全部计算这有助于提升闭环控制的稳定性。避坑指南训练初期如果直接启用所有稀疏机制模型容易不稳定。我们的策略是渐进式开启。例如先只训练令牌剪枝稳定后再加入层跳过最后加入缓存机制。同时给路由器一个相对较小的学习率而动作蒸馏的损失权重可以设得大一些确保动作生成能力不会在优化效率的过程中丢失。4. 实验验证与深度分析理论和方法说得再好最终还是要看实际效果。我们在高保真机器人仿真基准SIMPLER上对AC2-VLA进行了全面评估并与当前最先进的通用VLA模型及各类效率优化方法进行了对比。4.1 性能对比效率与精度的双赢我们首先在Google Robot和WidowX两种机器人平台上进行了测试。如表1和表2所示在“视觉匹配”设置下测试环境与训练数据分布接近AC2-VLA在Google Robot上的平均任务成功率达到了76.8%不仅超过了作为我们基线的稠密模型CogACT的74.8%更是大幅领先于RT-2-X、OpenVLA等模型。在更具挑战性的“变体聚合”设置下改变了背景、光照、添加了干扰物AC2-VLA依然保持了与基线模型相当的61.6%的成功率。更令人振奋的是效率提升。如表3所示与完整的CogACT基线相比AC2-VLA实现了1.79倍的墙钟时间加速并将计算量FLOPs降低到了基线模型的29.4%。这意味着我们用不到三分之一的计算成本获得了相当甚至略优的性能。这个结果强有力地证明了我们“以动作为中心进行剪枝”的思路是有效的被移除的计算很大程度上确实是对当前操控决策冗余或无关的。与专门的效率优化方法对比AC2-VLA的优势更加明显。例如只做时间缓存的方法VLA-Cache加速有限1.36倍只做静态剪枝的方法EfficientVLA虽然FLOPs降得多但性能有波动且在需要精细推理的任务上如开抽屉表现不如我们动态层跳过方法MoLe-VLA则未能充分挖掘空间和时间冗余。AC2-VLA通过统一协调三维度优化实现了最佳的效率-精度帕累托前沿。4.2 消融实验每个组件贡献几何为了厘清每个设计模块的具体贡献我们进行了一系列消融实验见表4去掉缓存重用平均成功率从76.8%降至70.5%加速比降至1.66倍。这表明时间维度的冗余利用不仅能加速还能通过提供更稳定的特征来提升闭环控制的鲁棒性减少因单帧图像噪声导致的动作抖动。去掉令牌剪枝这是对加速贡献最大的部分。禁用后加速比大幅下降至1.52倍。这说明视觉令牌中存在大量空间冗余动态聚焦是关键。去掉层跳过在保持相似FLOPs的情况下成功率降至67.4%。这说明在保留必要视觉令牌的基础上有条件地跳过一些网络层对于维持高级推理能力至关重要。完整模型三者协同工作取得了最佳的76.8%成功率和1.79倍加速。这验证了我们的核心观点时间、空间、深度三个维度的冗余是互补的需要联合优化。4.3 超参数探索与有趣现象我们对令牌保留比例和网络层执行数量进行了网格搜索结果如图5所示。我们发现了一个清晰的帕累托边界保留40%的视觉令牌同时执行28层总层数32是效率与精度的最佳平衡点。这个配置下模型取得了前述的最佳结果。这揭示了一个有趣的现象超过一半的视觉令牌在多数时候可能是“可有可无”的但网络深度却需要保持在一个较高的水平约87.5%以保证足够的表征能力。另一个有趣的发现是关于缓存阈值的敏感性。我们调整路由器决定重用缓存所需的置信度阈值。如表5所示当阈值设置为0.2时成功率达到了最高的87.1%甚至超过了稠密基线。我们分析认为适度的缓存重用起到了“时间平滑滤波器”的作用。在机器人状态稳定时复用上一帧的特征可以有效地平滑掉单帧图像中可能存在的噪声如光照闪烁、传感器抖动从而产生更稳定、更一致的动作序列反而提升了任务成功率。这证明了我们的自适应机制不仅能加速还能作为一种隐式的正则化手段提升性能。5. 部署考量与未来展望经过大量的实验验证AC2-VLA展现出了巨大的应用潜力。但在实际部署中还有一些工程细节需要仔细考量。延迟与吞吐的权衡我们的加速比1.79倍是端到端的墙钟时间加速。在实际机器人系统中还需要考虑传感器数据读取、预处理、通信等开销。AC2-VLA的轻量化路由器本身引入的额外开销极低通常小于1毫秒因此净加速效果依然显著。对于需要极高控制频率如30Hz的应用可以进一步调激进剪枝参数用轻微的性能损失换取更大的加速。对硬件和框架的适配令牌的物理压缩和层的条件执行需要深度学习框架和底层算子库的支持才能实现真正的加速。例如需要能够动态处理可变长度序列的注意力算子以及高效的动态批处理/子批处理机制。目前主流的推理引擎如TensorRT, ONNX Runtime正在逐步增加对动态形状和条件计算的支持这为AC2-VLA的落地铺平了道路。泛化性与安全边界AC2-VLA是在大规模机器人数据集上训练出来的其路由策略学习到的是一种数据驱动的“经验”。对于训练分布外的、极其罕见的“边角案例”路由器可能会做出过于激进的剪枝决策导致任务失败。因此在安全至上的应用场景如医疗、精密装配可能需要设置一个保守的“安全模式”在路由器置信度低时自动回退到完整的稠密推理。展望未来我们认为“以动作为核心的自适应计算”这一范式具有广阔的前景。一个自然的延伸是将这种思想应用到多机器人协同或人机协作场景中此时的动作上下文还包括其他智能体的意图和行为。此外探索更精细的、基于技能或子任务的推理预算分配也是一个有趣的方向。例如在执行“倒水”任务时“移动水壶”阶段可以激进剪枝“对准杯口”阶段则需要全精度计算。最终我们期望能实现一个真正“知行合一”的机器人大脑它的计算资源分配与它的行为意图紧密耦合以最高的效率完成最复杂的任务。