用于语义场景补全的 3D 门控循环融合
计算机视觉与模式识别
2020-02-19 v1
摘要
本文解决语义场景补全（SSC）任务中的数据融合问题，该任务可同时处理语义标注与场景补全。RGB 图像包含对语义场景理解至关重要的物体纹理细节。同时，深度图像捕获与形状补全高度相关的几何线索。同时使用 RGB 与深度图像可较单独使用一种模态进一步提升 SSC 精度。我们提出一种 3D 门控循环融合网络（GRFNet），其利用门与记忆模块学习自适应地选择与融合来自深度和 RGB 的相关信息。在单阶段融合基础上，我们进一步提出多阶段融合策略，可建模网络内不同阶段间的相关性。在两个基准数据集上的大量实验证明了所提 GRFNet 在 SSC 数据融合中的优越性能与有效性。代码将公开。
引用
@article{arxiv.2002.07269,
title = {3D Gated Recurrent Fusion for Semantic Scene Completion},
author = {Yu Liu and Jie Li and Qingsen Yan and Xia Yuan and Chunxia Zhao and Ian Reid and Cesar Cadena},
journal= {arXiv preprint arXiv:2002.07269},
year = {2020}
}
备注
13 pages