基于 3D 生成对抗网络与循环卷积网络的形状修补
计算机视觉与模式识别
2017-11-20 v1
摘要
卷积神经网络的最新进展在 3D 形状补全上展现出有前景的结果。但由于 GPU 内存限制，这些方法只能生成低分辨率输出。为以语义合理性与上下文细节修补 3D 模型，我们引入了一种混合框架，结合 3D 编码器-解码器生成对抗网络（3D-ED-GAN）与长时序循环卷积网络（LRCN）。3D-ED-GAN 是一个以生成对抗范式训练的 3D 卷积神经网络，用于以低分辨率填补缺失的 3D 数据。LRCN 采用循环神经网络架构以最小化 GPU 内存占用，并将编码器-解码器对嵌入长短期记忆网络中。通过将 3D 模型视为一系列 2D 切片，LRCN 将粗糙的 3D 形状转化为更完整且更高分辨率的体数据。3D-ED-GAN 捕捉 3D 形状的全局上下文结构，而 LRCN 定位细粒度细节。在真实与合成数据上的实验结果表明，从损坏模型重建可得完整且高分辨率的 3D 物体。
引用
@article{arxiv.1711.06375,
title = {Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks},
author = {Weiyue Wang and Qiangui Huang and Suya You and Chao Yang and Ulrich Neumann},
journal= {arXiv preprint arXiv:1711.06375},
year = {2017}
}