驾驶员注意力跟踪与分析

我们提出了一种新方法，利用安装在汽车挡风玻璃和仪表板上的一对普通摄像头来估计驾驶员的注视点。由于交通环境具有未知深度的 3D 场景且动态变化，这是一个具有挑战性的问题。驾驶员与摄像头系统之间不断变化的距离使该问题进一步复杂化。为了应对这些挑战，我们开发了一种新型卷积网络，能够同时分析场景图像和驾驶员面部图像。该网络具有一个摄像头校准模块，可以计算出一个表示驾驶员与摄像头系统之间空间配置的嵌入向量。该校准模块提升了整个网络的性能，并且可以进行端到端的联合训练。我们还通过引入一个带有注视点注释的大规模驾驶数据集，解决了训练和评估缺乏注释数据的问题。这是一个在城市中真实驾驶过程的原位数据集，包含驾驶场景的同步图像以及驾驶员的面部和注视图像。在该数据集上的实验表明，所提出的方法优于各种基线方法，其平均预测误差为 29.69 像素，相对于场景摄像头 $1280{\times}720$ 的分辨率来说相对较小。