等变图像建模
计算机视觉与模式识别
2025-03-25 v1
摘要
当前的生成模型，如自回归和扩散方法，将高维数据分布的学习分解为一系列更简单的子任务。然而，在这些子任务的联合优化过程中会出现内在冲突，现有的解决方案在不牺牲效率或可扩展性的情况下未能解决此类冲突。我们提出了一种新颖的等变图像建模框架，通过利用自然视觉信号的平移不变性，在子任务之间本质上对齐优化目标。该方法引入了（1）列向分词，增强了沿水平轴的平移对称性；（2）窗口因果注意力，强制在不同位置之间保持一致的上下文关系。在256x256分辨率下的类别条件ImageNet生成任务中评估结果表明，我们的方法在使用更少计算资源的情况下，达到了与领先自回归模型相当的性能。系统性分析表明，增强的等变性减少了子任务间的冲突，显著改善了零样本泛化能力，并实现了超长图像合成。本工作首次建立了生成模型中任务对齐分解的框架，为高效参数共享和无冲突优化提供了洞见。代码和模型已公开于 https://github.com/drx-code/EquivariantModeling。
引用
@article{arxiv.2503.18948,
title = {Equivariant Image Modeling},
author = {Ruixiao Dong and Mengde Xu and Zigang Geng and Li Li and Han Hu and Shuyang Gu},
journal= {arXiv preprint arXiv:2503.18948},
year = {2025}
}