用于室内深度补全的解码器调制
计算机视觉与模式识别
2021-02-09 v2
摘要
深度补全从传感器测量中恢复稠密深度图。当前方法大多针对室外场景下激光雷达（LiDAR）的极稀疏深度测量而设计，而在室内场景中主要使用飞行时间（ToF）或结构光传感器。这些传感器提供半稠密图，在某些区域测量稠密，在其他区域几乎为空。我们提出了一种考虑此类区域间统计差异的新模型。我们的主要贡献是在编码器-解码器架构上新增一个解码器调制分支。编码器从拼接的 RGB 图像与原始深度中提取特征。给定缺失值掩码作为输入，所提调制分支针对不同区域以不同方式控制从这些特征解码出稠密深度图。这通过空间自适应反归一化（SPADE）块修改解码器内部输出信号的空间分布来实现。我们的第二个贡献是一种新的训练策略，使得在缺乏稠密真值深度图时可使用半稠密传感器数据进行训练。我们的模型在室内 Matterport3D 数据集上取得了最先进的（state of the art）结果。由于专为半稠密输入深度设计，我们的模型在 KITTI 数据集上仍可与面向激光雷达的方法竞争。我们的训练策略在无可用的稠密真值时显著提升了预测质量，这一点在 NYUv2 数据集上得到验证。
引用
@article{arxiv.2005.08607,
title = {Decoder Modulation for Indoor Depth Completion},
author = {Dmitry Senushkin and Mikhail Romanov and Ilia Belikov and Anton Konushin and Nikolay Patakin},
journal= {arXiv preprint arXiv:2005.08607},
year = {2021}
}