基于行列纠缠像素合成的高效尺度等变生成器
计算机视觉与模式识别
2023-04-26 v3 机器学习
摘要
任意尺度图像合成提供了一种高效且可扩展的方案，能够以任意尺度合成照片级真实感图像，甚至超越 2K 分辨率。然而，现有基于 GAN 的方案过度依赖卷积与分层架构，在放大输出分辨率时会引入不一致性与“纹理黏附”问题。从另一角度看，基于 INR 的生成器在设计上具有尺度等变性，但其巨大的内存占用与缓慢的推理阻碍了这些网络在大规模或实时系统中的应用。本工作中，我们提出列-行纠缠像素合成（CREPS），一种高效且尺度等变、不使用任何空间卷积或粗到细设计的新型生成模型。为节省内存占用并使系统可扩展，我们采用一种新颖的双线表示，将逐层特征图分解为独立的“厚”列编码与行编码。在 FFHQ、LSUN-Church、MetFaces 和 Flickr-Scenery 等多种数据集上的实验证实了 CREPS 能够以合理的训练与推理速度，在任意分辨率下合成尺度一致且无混叠的图像。代码见 https://github.com/VinAIResearch/CREPS。
引用
@article{arxiv.2303.14157,
title = {Efficient Scale-Invariant Generator with Column-Row Entangled Pixel Synthesis},
author = {Thuan Hoang Nguyen and Thanh Van Le and Anh Tran},
journal= {arXiv preprint arXiv:2303.14157},
year = {2023}
}
备注
Accepted to CVPR 2023; Project Page: https://thuanz123.github.io/creps/