关于吸收型离散扩散的无 $\epsilon$ 推理复杂度

吸收型离散扩散已成为离散数据生成的主导框架。然而，其经验成功与理论理解之间仍存在显著差距：现有分析未能证明其相比为*均匀*离散扩散建立的 $\mathcal{O}(d \ln(d/\epsilon))$ 基线具有复杂度优势。我们通过识别出一个关键的结构优势来弥补这一差距：均匀扩散冗余地重新去噪有效元素，而吸收方案对每个吸收状态仅去噪一次。基于这一见解，我们引入了*吸收感知截断均匀化*（AATU）。我们证明 AATU 以 $\mathcal{O}(d \ln d)$ 的复杂度实现了 $\epsilon$-TV 收敛——与误差容限 $\epsilon$ 无关——从而严格优于现有的均匀基线。除了提高收敛速率外，我们的分析还消除了先前基于均匀化的推理研究中常需的限制性有界得分假设。此外，我们将 AATU 扩展至时间不变参数化，表明它自然地采用了具有均匀随机去噪顺序的插补型推理。结合惰性更新策略，TV 收敛仅需 $\mathcal{O}(d)$ 次离散得分评估。这些结果不仅为吸收型离散扩散奠定了严格的理论基础——证实了其在高精度生成中的效率——还为在掩码范式下分析基于扩散的语言模型开辟了新途径。