通过构建测地曲面进行信息迁移的少样本图像生成
计算机视觉与模式识别
2024-03-05 v2
摘要
大多数使用有限数据训练的生成模型所生成的图像，往往在保真度、多样性或两者兼有方面存在不足。解决这一局限性的一个有效方案是少样本生成模型自适应。然而，这类方法通常依赖于一个大规模预训练模型作为源域，以促进信息向目标域的迁移。本文中，我们提出了一种名为“基于构建测地曲面的信息迁移”（Information Transfer from the Built Geodesic Surface, ITBGS）的方法，包含两个模块：测地曲面特征增强（Feature Augmentation on Geodesic Surface, FAGS）；插值与正则化（Interpolation & Regularization, I&R）。借助 FAGS 模块，通过将训练数据集中的图像特征投影到预形状空间中，随后在测地曲面上生成新特征，从而创建一个伪源域。因此，在使用 FAGS 训练生成模型的自适应过程中无需任何预训练模型。引入 I&R 模块分别用于监督插值图像并正则化其相对距离，以进一步提升生成图像的质量。通过定性和定量实验，我们证明所提出的方法在语义各异的数据集范围内，即使在极端的少样本场景下，也能持续取得最优或可比的结果。
引用
@article{arxiv.2401.01749,
title = {Few-shot Image Generation via Information Transfer from the Built Geodesic Surface},
author = {Yuexing Han and Liheng Ruan and Bing Wang},
journal= {arXiv preprint arXiv:2401.01749},
year = {2024}
}