NUWA-Infinity：用于无限视觉合成的自回归之上自回归生成
计算机视觉与模式识别
2022-08-15 v2
摘要
本文提出NUWA-Infinity，一种用于无限视觉生成的生成模型，其定义为生成任意尺寸高分辨率图像或长时长视频的任务。提出一种自回归之上自回归生成机制来处理该可变尺寸生成任务，其中全局块级自回归模型考虑块间依赖，局部令牌级自回归模型考虑每块内视觉令牌间依赖。引入邻近上下文池(NCP)缓存已生成的 related 块作为当前生成块的上下文，可在不牺牲块级依赖建模的前提下显著节省计算成本。任意方向控制器(ADC)用于决定不同视觉合成任务的合适生成顺序并学习顺序感知的位置嵌入。与DALL-E、Imagen和Parti相比，NUWA-Infinity可生成任意尺寸高分辨率图像并额外支持长时长视频生成。与同样覆盖图像与视频的NUWA相比，NUWA-Infinity在分辨率和可变尺寸生成方面具有更优的视觉合成能力。GitHub链接为https://github.com/microsoft/NUWA。主页链接为https://nuwa-infinity.microsoft.com。
引用
@article{arxiv.2207.09814,
title = {NUWA-Infinity: Autoregressive over Autoregressive Generation for Infinite Visual Synthesis},
author = {Chenfei Wu and Jian Liang and Xiaowei Hu and Zhe Gan and Jianfeng Wang and Lijuan Wang and Zicheng Liu and Yuejian Fang and Nan Duan},
journal= {arXiv preprint arXiv:2207.09814},
year = {2022}
}
备注
24 pages, 19 figures