SCOUT+: 迈向实用的任务驱动型驾驶员注视预测

驾驶员注视的准确预测是基于视觉的驾驶员监控和辅助系统的重要组成部分。特别令人感兴趣的是安全关键场景，例如执行操作或穿越交叉路口。在此类场景中，驾驶员的注视分布会发生显著变化，变得难以预测，尤其是当任务和上下文信息被隐式表示时，这在许多最先进的模型中很常见。然而，对影响驾驶员注意力的自上而下因素进行显式建模通常需要额外的信息和标注，而这些可能不易获得。在本文中，我们解决了在实用系统中使用常见数据源对任务和上下文进行有效建模的挑战。为此，我们引入了 SCOUT+，这是一个任务和上下文感知的驾驶员注视预测模型，它利用了从常用 GPS 数据推断出的路线和地图信息。我们在 DR(eye)VE 和 BDD-A 两个数据集上评估了我们的模型，并证明使用地图相比自下而上的模型能改善结果，并达到与依赖特权真实信息的自上而下模型 SCOUT 相当的性能。代码可在 https://github.com/ykotseruba/SCOUT 获取。