Drift-AR：基于反算称漂移的单步视觉自回归生成
计算机视觉与模式识别
2026-04-09 v2
摘要
自回归(AR)扩散混合范式结合了AR的结构化语义建模与扩散的高保真合成，却因AR阶段的顺序处理和扩散视觉解码阶段的迭代多步去噪而面临双重速度瓶颈。现有方法以孤立方式解决每个瓶颈，缺乏统一的原理设计。我们观察到，连续空间AR模型的每个位置预测熵自然编码了空间上变化的生成不确定性，这同时支配AR阶段的草案预测质量，又反映了视觉解码阶段所需的纠正 effort，这在此之前未被充分探索。由于熵本质上与两个瓶颈相关联，它作为联合加速的自然统一信号。本文提出了\textbf{Drift-AR}，利用熵信号加速两个阶段：1)为AR加速，我们引入基于熵的预测性解码，通过因果归一化熵损失对齐草案-目标熵分布，解决熵失配导致的草案被拒绝问题；2)为视觉解码器加速，我们将熵重新解释为反算称漂移场初始状态的物理方差——高熵位置激活强大的漂移以引导向数据流形，而低熵位置产生消失漂移，从而实现单步(1-NFE)解码，无需迭代去噪或蒸馏。此外，两个阶段共享相同的熵信号，该信号仅计算一次无需额外开销。在MAR、TransDiff和NextStep-1上的实验表明，Drift-AR实现3.8-5.5倍加速，实现真正的1-NFE解码，质量匹配或超过原始质量。代码将在 https://github.com/aSleepyTree/Drift-AR 上提供。
引用
@article{arxiv.2603.28049,
title = {Drift-AR: Single-Step Visual Autoregressive Generation via Anti-Symmetric Drifting},
author = {Zhen Zou and Xiaoxiao Ma and Mingde Yao and Jie Huang and LinJiang Huang and Feng Zhao},
journal= {arXiv preprint arXiv:2603.28049},
year = {2026}
}