一种用于实时同步三维重建与材料识别的完全端到端深度学习方法
计算机视觉与模式识别
2018-07-17 v1
摘要
本文解决同步三维重建与材料识别及分割的问题。使机器人能够识别场景中的不同材料（混凝土、金属等）对于许多任务十分重要，例如核退役中的机器人干预。先前关于三维语义重建的工作主要集中于日常家用物体（桌子、椅子等）的识别，而先前关于材料识别的工作大体局限于无任何三维重建的单张二维图像。同时，大多数三维语义重建方法依赖计算昂贵的后处理，使用全连接条件随机场（Fully-Connected Conditional Random Fields, CRFs）来实现一致的分割。相反，我们提出一种深度学习方法，其执行三维重建的同时识别不同类型的材料并在像素级标记它们。与先前方法不同，我们提出一种完全端到端的方法，其不需要手工制作的特征或 CRF 后处理。相反，我们仅使用学习到的特征，并且 CRF 分割约束被纳入完全端到端学习系统内部。我们给出了实验结果，其中我们训练我们的系统以在真实世界应用中对 23 种不同材料执行实时三维语义重建。系统的运行性能可借助常规 GPU 提升至约 10Hz，这足以使用 30fps 的 RGB-D 相机实现实时语义重建。据我们所知，这项工作是首个用于同步三维重建与材料识别的实时端到端系统。
引用
@article{arxiv.1703.04699,
title = {A fully end-to-end deep learning approach for real-time simultaneous 3D reconstruction and material recognition},
author = {Cheng Zhao and Li Sun and Rustam Stolkin},
journal= {arXiv preprint arXiv:1703.04699},
year = {2018}
}
备注
8 pages, 7 figures, 4 tables