FoV-Net：基于自注意力与不确定性的视场外推
计算机视觉与模式识别
2022-04-05 v1
摘要
对其周边环境做出有依据的预测并赋予一定置信度，对智能系统（如自动驾驶车辆和机器人）十分重要。这使其能尽早规划并相应决策。受此启发，本文利用窄视场视频序列的信息来推断更宽视场的场景。为此，我们提出一种时序一致的视场外推框架，即 FoV-Net，其：(1) 利用 3D 信息从过去帧传播已观测场景部分；(2) 通过基于注意力的特征聚合模块与门控自注意力模块聚合传播的多帧信息，同时幻觉出任何未观测场景部分；(3) 为每个像素分配可解释的不确定性值。大量实验表明，FoV-Net 不仅比现有方法更好地外推时序一致的宽视场场景，还提供了关联的不确定性，或可惠及关键的下游决策应用。项目主页见 http://charliememory.github.io/RAL21_FoV。
引用
@article{arxiv.2204.01267,
title = {FoV-Net: Field-of-View Extrapolation Using Self-Attention and Uncertainty},
author = {Liqian Ma and Stamatios Georgoulis and Xu Jia and Luc Van Gool},
journal= {arXiv preprint arXiv:2204.01267},
year = {2022}
}
备注
Accepted to IEEE Robotics and Automation Letters and ICRA2021. Project page http://charliememory.github.io/RAL21_FoV