通过图卷积网络学习三维感知的自我中心时空交互
计算机视觉与模式识别
2020-03-03 v3 机器人学
摘要
为了实现智能自动驾驶系统，一个有前景的策略是理解人类在复杂驾驶情境中如何驾驶并与道路使用者交互。在本文中，我们为自动驾驶应用提出了一个三维感知的自我中心时空交互框架。图卷积网络（GCN）被设计用于交互建模。我们将三个新颖概念引入 GCN。首先，我们将自我中心交互分解为自我-物体和自我-背景交互，分别由两个 GCN 建模。在两个 GCN 中，引入自我节点来编码物体对象（例如，汽车和行人）之间的交互，以及背景对象（例如，车道标线和交通灯）之间的交互。其次，将对象的三维位置显式地纳入 GCN，以更好地建模自我中心交互。第三，为了在 GCN 中实现自我-背景交互，我们提出了一种 MaskAlign 操作来提取不规则对象的特征。我们在战术性驾驶员行为识别上验证了所提出的框架。使用本田研究所驾驶数据集（Honda Research Institute Driving Dataset）——最大的具有多样化战术性驾驶员行为标注的数据集——进行了大量实验。我们的框架在两个实验设置上分别比基线性能提升了 3.9% 和 6.0%。此外，我们可视化了学习到的亲和矩阵，这些矩阵编码了自我-物体和自我-背景交互，以展示所提出的框架能够有效捕获交互。
引用
@article{arxiv.1909.09272,
title = {Learning 3D-aware Egocentric Spatial-Temporal Interaction via Graph Convolutional Networks},
author = {Chengxi Li and Yue Meng and Stanley H. Chan and Yi-Ting Chen},
journal= {arXiv preprint arXiv:1909.09272},
year = {2020}
}
备注
Accepted to the International Conference on Robotics and Automation (ICRA) 2020