通过 GAN 反演的无监督三维形状补全
计算机视觉与模式识别
2021-04-30 v2
摘要
大多数三维形状补全方法严重依赖部分-完整形状对并以全监督方式学习。尽管它们在域内数据上表现令人印象深刻，但当推广到其他形式的部分形状或真实世界的部分扫描时，由于域差距，它们通常获得不令人满意的结果。与以往的全监督方法不同，本文提出 ShapeInversion，首次将生成对抗网络（GAN）反演引入形状补全。ShapeInversion 使用在完整形状上预训练的 GAN，通过搜索一个潜在代码来给出能最佳重建给定部分输入的完整形状。这样，ShapeInversion 不再需要配对训练数据，并能够融入训练良好的生成模型所捕获的丰富先验。在 ShapeNet 基准上，所提出的 ShapeInversion 优于 SOTA 无监督方法，并与使用配对数据学习的监督方法相当。它还展现出显著的泛化能力，为真实世界扫描以及各种形式和残缺程度的部分输入提供鲁棒结果。重要的是，由于引入了预训练 GAN，ShapeInversion 自然实现了一系列额外能力，例如为模糊的部分输入生成多个有效的完整形状，以及形状操控与插值。
引用
@article{arxiv.2104.13366,
title = {Unsupervised 3D Shape Completion through GAN Inversion},
author = {Junzhe Zhang and Xinyi Chen and Zhongang Cai and Liang Pan and Haiyu Zhao and Shuai Yi and Chai Kiat Yeo and Bo Dai and Chen Change Loy},
journal= {arXiv preprint arXiv:2104.13366},
year = {2021}
}
备注
Accepted in CVPR 2021, project webpage: https://junzhezhang.github.io/projects/ShapeInversion/