GCA-3D：迈向 3D 生成器的泛化与一致的域适应
计算机视觉与模式识别
2024-12-23 v1
摘要
最近，3D 生成式域适应应运而生，旨在将预训练生成器适应到其他领域，而无需收集大规模数据集和相机姿态分布。通常，它们利用大规模预训练的文本到图像扩散模型来为目标域合成图像，然后微调 3D 模型。然而，它们受到繁琐的数据生成流程的困扰，这不可避免地在源域和合成数据集之间引入了姿态偏差。此外，它们不能泛化以支持单样本图像引导的域适应，由于单图像参考引入了更严重的姿态偏差和额外的身份偏差，这更具挑战性。为了解决这些问题，我们提出了 GCA-3D，一种无需复杂数据生成流程的泛化且一致的 3D 域适应方法。与以往的流程方法不同，我们引入了多模态深度感知分数蒸馏采样损失，以非对抗的方式高效地适应 3D 生成模型。这种多模态损失使 GCA-3D 能够同时支持文本提示和单样本图像提示适应。此外，它利用来自体积渲染模块的每个实例的深度图来缓解过拟合问题并保持结果的多样性。为了增强姿态和身份一致性，我们进一步提出了分层空间一致性损失，以对齐源域和目标域中生成图像之间的空间结构。实验表明，GCA-3D 在效率、泛化性、姿态准确性和身份一致性方面优于以往方法。
引用
@article{arxiv.2412.15491,
title = {GCA-3D: Towards Generalized and Consistent Domain Adaptation of 3D Generators},
author = {Hengjia Li and Yang Liu and Yibo Zhao and Haoran Cheng and Yang Yang and Linxuan Xia and Zekai Luo and Qibo Qiu and Boxi Wu and Tu Zheng and Zheng Yang and Deng Cai},
journal= {arXiv preprint arXiv:2412.15491},
year = {2024}
}