基于自监督视线估计的异常行为检测

由于近期COVID-19的爆发,许多课程、考试和会议已以非面对面方式进行。然而,视频会议解决方案的基础仍不充分。因此该技术已成为一个重要议题。特别是,这些技术对于非面对面测试至关重要,且技术普及十分紧迫。在本文中,我们针对这些问题提出了一种利用视线估计的单视频会议解决方案。视线是诸如人类行为分析等任务的重要线索。因此,已有大量研究提出利用深度学习解决视线估计,这是迄今为止最突出的方法之一。我们利用这些视线估计方法来检测视频会议参与者的异常行为。我们的贡献如下: i) 我们寻找并应用视线估计方法的最优网络,并应用自监督方法以提高精度; ii) 对于异常检测,我们提出了一个聚合了新的视线、头部姿态等数值的新数据集; iii) 我们在多层感知机(Multi Layer Perceptron, MLP)模型上训练新创建的数据,以基于深度学习检测异常行为。我们通过实验证明了我们方法的鲁棒性。