中文

FlowDCN:探索类DCN架构以实现任意分辨率的快速图像生成

计算机视觉与模式识别 2024-10-31 v1

摘要

在AIGC中,任意分辨率图像生成仍然是一项具有挑战性的任务,因为它需要在保持高视觉质量的同时处理不同的分辨率和宽高比。现有的基于Transformer的扩散方法存在二次计算成本和有限的分辨率外推能力,使其在此任务中效果不佳。在本文中,我们提出了FlowDCN,这是一种纯卷积生成模型,具有线性的时间和内存复杂度,能够高效地生成任意分辨率的高质量图像。我们的FlowDCN配备了新设计的可学习分组可变形卷积块,具有更高的灵活性和能力,可以用单个模型处理不同的分辨率。FlowDCN在256×256256\times256 ImageNet基准测试上达到了最先进的4.30 sFID,并取得了可比的分辨率外推结果,在收敛速度(仅需15\frac{1}{5}的图像量)、视觉质量、参数量(减少8%8\%)和FLOPs(减少20%20\%)方面均超越了基于Transformer的同类方法。我们相信FlowDCN为可扩展且灵活的图像合成提供了一种有前景的解决方案。

关键词

引用

@article{arxiv.2410.22655,
  title  = {FlowDCN: Exploring DCN-like Architectures for Fast Image Generation with Arbitrary Resolution},
  author = {Shuai Wang and Zexian Li and Tianhui Song and Xubin Li and Tiezheng Ge and Bo Zheng and Limin Wang},
  journal= {arXiv preprint arXiv:2410.22655},
  year   = {2024}
}

备注

Accepted on NeurIPS24