Parcel3D：基于单张RGB图像的包裹三维形状重建及其在物流运输中的应用
计算机视觉与模式识别
2023-04-19 v1 机器学习
机器人学
摘要
我们致力于实现物流中的损坏与篡改检测，并解决潜在受损包裹的三维形状重建问题。作为输入，我们利用单张RGB图像，这对应于仅可使用简易手持设备的用例，例如投递中的邮递员或收货客户。我们提出一个名为Parcel3D的新合成数据集，基于Google Scanned Objects（GSO）数据集，包含超过13,000张带有完整3D标注的包裹图像。该数据集包含完好（即长方体形）包裹与在仿真中生成的受损包裹。我们通过提出一种称为CubeRefine R-CNN的新架构来检测包裹的误操作，该架构将3D边界框估计与迭代网格细化相结合。我们在Parcel3D及一个现有的真实场景长方体包裹数据集上对所提方法进行基准测试。我们的结果表明，虽然在Parcel3D上训练能够实现向真实世界的迁移，但在真实场景中实现可靠部署仍具挑战性。CubeRefine R-CNN在Mesh AP方面取得有竞争力的性能，且是唯一能通过3D网格比较直接评估形变、并通过比较视角不变的包裹侧面表面表示来检测篡改的模型。数据集与代码见https://a-nau.github.io/parcel3d。
引用
@article{arxiv.2304.08994,
title = {Parcel3D: Shape Reconstruction from Single RGB Images for Applications in Transportation Logistics},
author = {Alexander Naumann and Felix Hertlein and Laura Dörr and Kai Furmans},
journal= {arXiv preprint arXiv:2304.08994},
year = {2023}
}
备注
Accepted at CVPR workshop on Vision-based InduStrial InspectiON (VISION) 2023, see https://vision-based-industrial-inspection.github.io/cvpr-2023/