HOFAR：流自回归 Transformer 的高阶增强
计算机视觉与模式识别
2025-03-12 v1 人工智能
机器学习
摘要
流匹配和 Transformer 架构在图像生成任务中展现出了卓越的性能，最近的工作 FlowAR [Ren et al., 2024] 协同整合了这两种范式以提升合成保真度。然而，当前的 FlowAR 实现在生成过程中仍受限于一阶轨迹建模。本文引入了一个新颖的框架，通过高阶监督系统地增强流自回归 Transformer。我们提供的理论分析和实证评估表明，与基线模型相比，我们的高阶 FlowAR（HOFAR）在生成质量上表现出可测量的提升。所提出的方法通过引入一个系统框架来分析高阶展开的轨迹动力学，从而推进了对基于流的自回归建模的理解。
关键词
引用
@article{arxiv.2503.08032,
title = {HOFAR: High-Order Augmentation of Flow Autoregressive Transformers},
author = {Yingyu Liang and Zhizhou Sha and Zhenmei Shi and Zhao Song and Mingda Wan},
journal= {arXiv preprint arXiv:2503.08032},
year = {2025}
}