学习环视物体以获取室外场景的俯视表示
计算机视觉与模式识别
2018-03-30 v1
摘要
给定透视视角下复杂室外道路场景的单张RGB图像，我们解决了估计俯视视角下经遮挡推理的语义场景布局这一新问题。这一挑战性问题不仅需要对可见场景的3D几何与语义的准确理解，还需理解被遮挡区域。我们提出一种卷积神经网络，通过学习环视车辆或行人等前景物体来预测场景布局的被遮挡部分。但我们表明，不直接生成RGB值，而是直接预测被遮挡区域的语义与深度，能够实现更好的俯视变换。我们进一步表明，若利用模拟数据或（若有）地图数据学习关于典型道路布局的先验与规则，可显著增强这一初始俯视表示。关键在于，训练我们的模型不需要对被遮挡区域或俯视视角进行昂贵或主观的人工标注，而是使用标准语义分割中易得的标注。我们在KITTI与Cityscapes数据集上广泛评估并分析了我们的方法。
引用
@article{arxiv.1803.10870,
title = {Learning to Look around Objects for Top-View Representations of Outdoor Scenes},
author = {Samuel Schulter and Menghua Zhai and Nathan Jacobs and Manmohan Chandraker},
journal= {arXiv preprint arXiv:1803.10870},
year = {2018}
}