基于适配感知核调制的小样本图像生成
计算机视觉与模式识别
2023-05-10 v3 机器学习
图像与视频处理
摘要
小样本图像生成（FSIG）旨在给定来自某一领域的极少量样本（例如 10 个训练样本）时，学习生成新颖且多样的样本。近期工作利用迁移学习方法解决该问题，即借助在大规模源域数据集上预训练的 GAN，并基于极有限的靶域样本将该模型适配到靶域。近期 FSIG 方法的核心在于知识保留准则，其旨在选择源模型的部分知识保留至适配后的模型中。然而，现有方法的一个主要局限是，其知识保留准则仅考虑源域/源任务，而在选择源模型知识时未能考虑靶域/适配任务，这令其在源域与靶域邻近程度不同的设定下的适用性存疑。我们的工作做出两点贡献。作为第一点贡献，我们重访了近期的 FSIG 工作及其实验。我们的一个重要发现是，在放宽源域与靶域紧密邻近这一假设的设定下，现有仅考虑源域/源任务进行知识保留的先进（SOTA）方法表现并不优于基线微调方法。为解决现有方法的局限，作为第二点贡献，我们提出适配感知核调制（AdAM）以应对不同源-靶域邻近程度下的通用 FSIG。大量实验结果表明，所提方法在不同邻近程度的源/靶域上始终取得 SOTA 性能，包括源域与靶域相距较远这一具挑战性的设定。项目页面：https://yunqing-me.github.io/AdAM/
引用
@article{arxiv.2210.16559,
title = {Few-shot Image Generation via Adaptation-Aware Kernel Modulation},
author = {Yunqing Zhao and Keshigeyan Chandrasegaran and Milad Abdollahzadeh and Ngai-Man Cheung},
journal= {arXiv preprint arXiv:2210.16559},
year = {2023}
}
备注
The Thirty-Sixth Annual Conference on Neural Information Processing Systems (NeurIPS 2022), 14 pages