3DFusion：基于流式实例分割数据的实时三维物体重建流水线
计算机视觉与模式识别
2023-11-14 v1
摘要
本文提出一种实时分割与重建系统，利用 RGB-D 图像生成所捕获场景中物体的准确且精细的独立三维模型。系统借助最先进的实例分割技术对 RGB-D 数据执行像素级分割，有效将前景物体与背景分离。分割出的物体随后在高性能计算平台上重建为独立的三维模型。该实时三维建模可应用于增强/虚拟现实、室内设计、城市规划、道路辅助、安防系统等诸多领域。为实现实时性能，本文提出一种有效采样连续帧的方法，以降低网络负载同时保证重建质量。此外，采用多进程 SLAM 流水线进行并行三维重建，高效地将聚类物体切割为个体。本系统采用业界领先框架 YOLO 进行实例分割。为提升 YOLO 的性能与精度，对其进行了修改以解决相似物体的重复或错误检测，确保重建模型与目标对齐。总体而言，本工作建立了一个鲁棒的实时系统，显著增强了室内环境下的物体分割与重建，并有可能扩展至室外场景，为实际应用开辟众多机遇。
引用
@article{arxiv.2311.06659,
title = {3DFusion, A real-time 3D object reconstruction pipeline based on streamed instance segmented data},
author = {Xi Sun and Derek Jacoby and Yvonne Coady},
journal= {arXiv preprint arXiv:2311.06659},
year = {2023}
}