VisioPhysioENet: 视觉生理参与检测网络
计算机视觉与模式识别
2025-08-21 v3
摘要
本文提出 VisioPhysioENet, 一个新型多模态系统,利用视觉和生理信号检测学习者的参与度。它采用两级方法提取视觉和生理特征。对于视觉特征提取,使用 Dlib 检测面部关键点,而 OpenCV 提供额外的估计。基于 Dlib 的人脸识别库用于识别专为生理信号提取而确定的面部区域感兴趣区域。随后,使用面向皮肤的正交平面方法提取生理信号,以评估心血管活动。这些特征通过先进的机器学习分类器集成,增强了对各种参与度水平的检测。我们在 DAiSEE 数据集上彻底测试了 VisioPhysioENet。其准确率为 63.09%。这表明它能够比许多现有方法更好地识别不同的参与度水平。其性能比唯一使用两种生理和视觉特征的唯一其他模型高出 8.6%。
关键词
引用
@article{arxiv.2409.16126,
title = {VisioPhysioENet: Visual Physiological Engagement Detection Network},
author = {Alakhsimar Singh and Kanav Goyal and Nischay Verma and Puneet Kumar and Xiaobai Li and Amritpal Singh},
journal= {arXiv preprint arXiv:2409.16126},
year = {2025}
}
备注
35 Pages, 4 figures, 5 Tables