通过双链路熵分析实现自适应视觉自回归加速

视觉自回归建模（VAR）由于涉及大量token而面临巨大的计算成本。现有的VAR token缩减方法未能考虑建模动力学的连续演化，存在三个关键限制：启发式阶段划分、非自适应调度和有限的加速范围，从而留下了巨大的加速潜力未被开发。由于熵变内在地反映了预测不确定性的转变，它为捕捉建模动力学演化提供了一种原则性的度量。因此，我们提出了NOVA，一种通过熵分析实现的、无需训练的VAR模型token缩减加速框架。NOVA通过在线识别尺度熵增长的拐点，在推理过程中自适应地确定加速激活尺度。通过尺度链路和层链路比率调整，NOVA为每个尺度和层动态计算不同的token缩减比率，修剪低熵token，同时重用来自先前尺度残差的缓存以加速推理并保持生成质量。大量的实验和分析验证了NOVA作为一种简单而有效的免训练加速框架。