利用 2D 分割先验进行数据增强的 3D 语义场景补全
计算机视觉与模式识别
2021-11-29 v1 人工智能
摘要
语义场景补全（SSC）是一项具挑战性的计算机视觉任务，拥有从机器人到辅助计算等诸多实际应用。其目标是在场景视场内推断三维几何及体素的语义标签，包括被遮挡区域。本工作中，我们提出 SPAwN，一种新颖的轻量多模态 3D 深度 CNN，可无缝融合来自 RGB-D 图像深度分量的结构数据与来自双模态 2D 分割网络的语义先验。该领域一个关键困难是缺乏足够大的全标注真实世界 3D 数据集以训练当前数据饥渴的深度 3D CNN。在 2D 计算机视觉任务中，已提出许多数据增强策略以提升 CNN 的泛化能力。然而这些方法不能直接应用于 SSC 方案的 RGB-D 输入与输出体。本文引入一种可应用于多模态 SSC 网络的 3D 数据增强策略。我们通过全面且可复现的消融实验验证我们的贡献。我们的方案在相似复杂度下持续超越先前工作。
引用
@article{arxiv.2111.13309,
title = {Data Augmented 3D Semantic Scene Completion with 2D Segmentation Priors},
author = {Aloisio Dourado and Frederico Guth and Teofilo de Campos},
journal= {arXiv preprint arXiv:2111.13309},
year = {2021}
}
备注
10 pages, 5 figures