基于低分辨率 Token 支点的分层掩码自回归模型
计算机视觉与模式识别
2025-05-27 v1 多媒体
摘要
自回归模型已成为视觉生成的一种强大生成范式。当前事实上的下一个 token 预测标准通常在密集图像 token 的单尺度序列上进行操作，并且无法利用全局上下文，尤其是在早期 token 预测时。在本文中，我们引入了一种新的自回归设计，以建模从少量低分辨率图像 token 到典型密集图像 token 的层次结构，并深入探讨多尺度图像 token 之间的分层依赖关系。在技术上，我们提出了一种以低分辨率图像 token 为支点的分层掩码自回归模型（Hi-MAR），以多阶段方式触发分层自回归建模。Hi-MAR 在第一阶段学习预测少量低分辨率图像 token，作为反映全局结构的中介支点。这些支点作为附加指导，通过塑造典型密集图像 token 的全局结构感知来增强下一个自回归建模阶段。进一步设计了一个新的 Diffusion Transformer 头，以放大所有 token 之间的全局上下文用于掩码 token 预测。在类条件和文本到图像生成任务上的广泛评估表明，Hi-MAR 优于典型的 AR 基线，同时所需的计算成本更少。代码可在 https://github.com/HiDream-ai/himar 获取。
引用
@article{arxiv.2505.20288,
title = {Hierarchical Masked Autoregressive Models with Low-Resolution Token Pivots},
author = {Guangting Zheng and Yehao Li and Yingwei Pan and Jiajun Deng and Ting Yao and Yanyong Zhang and Tao Mei},
journal= {arXiv preprint arXiv:2505.20288},
year = {2025}
}
备注
ICML 2025. Source code is available at https://github.com/HiDream-ai/himar