利用深度学习从人脸动态特征实时估计外显注意
计算机视觉与模式识别
2024-09-26 v2
摘要
学生在课堂上经常注意力分散又重新集中。优秀的教师能察觉这一点并在必要时重新吸引他们的注意力。随着向远程学习的转变，教师失去了适应学生不同参与度所需的视觉反馈。我们提出利用易获取的前置摄像头视频，基于眼睛、头部和面部的运动来推断注意水平。我们训练了一个深度学习模型，基于外显眼动来预测注意的度量。具体而言，我们在学生观看相同教育视频时，以十秒为间隔测量眼动的被试间相关性。在3个不同的实验（N=83）中，我们展示了训练后的模型在未见数据上预测该客观注意指标的 =0.38，在未见被试上预测的 =0.26-0.30。该深度网络主要依赖学生的眼动，但在一定程度上也依赖眉毛、脸颊和头部的运动。与眼动的被试间相关性不同，该模型可以从单个学生的运动中估计注意参与度，而无需来自专注群体的参考数据。这使得更广泛的在线应用成为可能。该解决方案轻量级且可在客户端运行，从而缓解了与在线注意监控相关的一些隐私问题。GitHub 实现可在 https://github.com/asortubay/timeISC 获取
引用
@article{arxiv.2409.13084,
title = {Real-time estimation of overt attention from dynamic features of the face using deep-learning},
author = {Aimar Silvan Ortubay and Lucas C. Parra and Jens Madsen},
journal= {arXiv preprint arXiv:2409.13084},
year = {2024}
}
备注
10 pages, 3 figures