基于风格调制生成对抗网络的多样化形状补全
计算机视觉与模式识别
2023-11-21 v1
摘要
形状补全旨在从部分观测中恢复物体的完整 3D 几何。该问题本质上是多模态的,因为存在许多合理的方式来补全形状缺失区域。这种多样性可指示形状的内在不确定性,并可能更受下游任务(如规划)的青睐。本文中,我们提出了一种新颖的条件生成对抗网络,能够针对部分观测的点云产生许多多样化的合理补全结果。为使我们的网络对同一部分输入产生多个补全,我们通过风格调制将随机性引入网络。通过在训练时从完整形状中提取风格码,并学习其上的分布,我们的风格码可显式携带形状类别信息,从而获得更好的补全。我们进一步引入多尺度多样性惩罚与判别器,以防止条件模态崩塌,并在无需每个部分输入对应多个真值补全的情况下进行训练。在多个合成与真实数据集上的评估表明,我们的方法在尊重部分观测的同时,获得了更大的补全多样性,取得了显著改进。
引用
@article{arxiv.2311.11184,
title = {Diverse Shape Completion via Style Modulated Generative Adversarial Networks},
author = {Wesley Khademi and Li Fuxin},
journal= {arXiv preprint arXiv:2311.11184},
year = {2023}
}