基于三维神经网络的移动平台驾驶员 drowsiness 实时监测

驾驶员困倦会增加碰撞风险，每年导致大量的道路创伤。困倦检测方法已受到相当关注，但很少有研究探讨在手机上实现检测方法。手机应用减少了对专用硬件的需求，从而能够以成本效益高的方式在驾驶人群中推广该技术。虽然已表明三维（3D）操作更适用于时空特征学习，但当前的困倦检测方法通常使用基于帧的多步骤方法。然而，在动作识别基准上取得优异结果的计算昂贵技术（例如 3D 卷积、光流提取）对移动设备上的实时、安全关键应用造成了瓶颈。在此，我们展示了深度可分离 3D 卷积与空间和时间信息的早期融合相结合，如何在高预测准确率和实时推理需求之间取得平衡。特别地，当评估需要运动信息时（例如太阳镜遮挡眼睛时）可获得更高的准确率。此外，一个定制的基于 TensorFlow 的智能手机应用展示了各种方法对推理时间的真实影响，并证明了基于样本外数据进行实时监测以警示困倦驾驶员的有效性。我们的模型在 ImageNet 和 Kinetics 上预训练，并在公开可用的 Driver Drowsiness Detection 数据集上微调。在大型自然驾驶数据集上微调可进一步提高准确率，以获得鲁棒的车内性能。总体而言，我们的研究是迈向实用深度学习应用的一步，有可能预防微睡眠并减少道路创伤。