面向基于INR的GAN的内存高效分块训练
计算机视觉与模式识别
2022-07-12 v2
摘要
近期研究表明，基于隐式神经表示（INR，即给定坐标 (x, y) 输出 RGB 值的 MLP）的 GAN 取得了显著进展。这类方法将图像表示为底层二维信号的连续版本而非像素二维阵列，为 GAN 应用（如零样本超分辨率、图像外绘）开辟了新前景。然而，现有方法的训练需要随图像分辨率成比例的高昂计算代价，因为它们对每个 (x, y) 坐标都执行一次 MLP 运算。为缓解该问题，我们提出多阶段分块训练——一种新颖且可扩展的方法，能以灵活的计算代价训练基于 INR 的 GAN，而不受图像分辨率限制。具体而言，我们的方法允许按块生成与判别以学习图像局部细节，并通过一种新颖的重建损失学习全局结构信息，从而实现高效的 GAN 训练。我们在多个基准数据集上实验，证明该方法在保持合理 FID 水平的同时降低了基线模型的 GPU 内存占用。
引用
@article{arxiv.2207.01395,
title = {Memory Efficient Patch-based Training for INR-based GANs},
author = {Namwoo Lee and Hyunsu Kim and Gayoung Lee and Sungjoo Yoo and Yunjey Choi},
journal= {arXiv preprint arXiv:2207.01395},
year = {2022}
}
备注
5 pages, 4 figures, arXiv preprint