面向小样本生成域适应的域重调制
计算机视觉与模式识别
2023-10-19 v4
摘要
在本研究中，我们深入探讨了小样本生成域适应（GDA）任务，该任务涉及仅使用少量参考图像将预训练生成器从一个域迁移到新域。受人类大脑在新域中获取知识方式的启发，我们提出了一种创新的生成器结构，称为域重调制（DoRM）。DoRM 不仅满足了先前 GDA 研究实现的高质量、大合成多样性和跨域一致性标准，还融入了类似于人类大脑运作方式的记忆和域关联。具体而言，DoRM 冻结源生成器，并引入新的映射和仿射模块（M&A 模块），以在 GDA 过程中捕获目标域的属性。这一过程类似于人类大脑中新突触的形成。因此，在风格空间中发生了可线性组合的域偏移。通过整合多个新的 M&A 模块，生成器获得了执行高保真多域和混合域生成的能力。此外，为了更有效地保持跨域一致性，我们引入了一种基于相似性的结构损失。该损失在训练期间将目标图像的自相关图与其对应的源图像自相关图对齐。通过大量实验，我们从定量和定性两方面展示了我们的 DoRM 和基于相似性的结构损失在小样本 GDA 中的优越性能。代码将发布于 https://github.com/wuyi2020/DoRM。
引用
@article{arxiv.2302.02550,
title = {Domain Re-Modulation for Few-Shot Generative Domain Adaptation},
author = {Yi Wu and Ziqiang Li and Chaoyue Wang and Heliang Zheng and Shanshan Zhao and Bin Li and Dacheng Tao},
journal= {arXiv preprint arXiv:2302.02550},
year = {2023}
}
备注
NeurIPS 2023