基于记忆中形状先验的单视图三维物体重建
计算机视觉与模式识别
2021-03-05 v3
摘要
现有的单视图三维物体重建方法直接学习将图像特征转换为三维表示。然而，这些方法对包含噪声背景和严重遮挡的图像十分敏感，因为提取的图像特征不包含足够的信息来重建高质量的三维形状。人类通常会利用图像中不完整或含噪的视觉线索，从记忆中检索相似的三维形状并重建物体的三维形状。受此启发，我们提出了一种名为 Mem3D 的新方法，其显式地构建形状先验以补充图像中缺失的信息。具体而言，形状先验以记忆网络中的“图像-体素”对形式存在，并通过精心设计的写入策略在训练期间存储。我们还提出了一种体素三元组损失函数，有助于从形状先验中检索与输入图像高度相关的精确三维形状。引入基于 LSTM 的形状编码器从检索到的三维形状中提取信息，这些信息有助于恢复严重遮挡或处于复杂环境中的物体的三维形状。实验结果表明，Mem3D 显著提升了重建质量，并在 ShapeNet 和 Pix3D 数据集上优于当前最先进的方法。
引用
@article{arxiv.2003.03711,
title = {Single-View 3D Object Reconstruction from Shape Priors in Memory},
author = {Shuo Yang and Min Xu and Haozhe Xie and Stuart Perry and Jiahao Xia},
journal= {arXiv preprint arXiv:2003.03711},
year = {2021}
}
备注
CVPR 2021