QuickMerge++: 基于自回归先验的快速 token 合并

随着生成模型在语言、视觉和视频领域扩展到更大的输入，token 级别计算的成本已成为关键瓶颈。虽然先前工作表明只有一小部分 token 对下游预测有显著影响，但大多数 token 选择方法是静态的、模态特定的，或与自回归生成不兼容。本文提出了 QuickMerge，一种为高效下一个 token 预测设计的轻量级 token 合并框架。QuickMerge 基于注意力范数大小动态选择 reduced 数量的 token，由基于熵的预算估计器指导。为保持自回归兼容性，我们引入了一个在合并后 token 序列上训练的轻量级变压器先验。通过结合语义显著性估计、灵活的 token 预算和 AR 对齐，QuickMerge 实现了更少 token 的准确生成。我们在多模态领域评估了 QuickMerge，展示了在计算-精度权衡方面的一致性改进。具体而言，QuickMerge 在显著减少 token 数量的同时，表现出与或超过已学习 token 器和固定 patch 基准的性能。