你是否吸引了我的注意:大规模参与度预测数据集与基线
计算机视觉与模式识别
2023-08-21 v2 人机交互
摘要
个体在与机器交互时所表现出的专注度、热情、乐观与投入程度被称为“用户参与度”。参与度包含行为、认知与情感相关线索。要构建能在真实条件下工作的参与度预测系统,从丰富多样的数据集中学习至关重要。为此,本文提出大规模野外多面参与度数据集EngageNet。我们记录了代表不同光照条件的127名参与者共31小时时长数据。开展了充分实验以探究不同特征、动作单元、视线、头部姿态及MARLIN的适用性。分析了用户交互(问答)数据以理解有效学习与用户参与度间的关系。为进一步验证数据集的丰富性,还在EngageWild数据集上进行了评估。实验显示了所提数据集的效用。代码、模型与数据集链接公开于https://github.com/engagenet/engagenet_baselines。
引用
@article{arxiv.2302.00431,
title = {Do I Have Your Attention: A Large Scale Engagement Prediction Dataset and Baselines},
author = {Monisha Singh and Ximi Hoque and Donghuo Zeng and Yanan Wang and Kazushi Ikeda and Abhinav Dhall},
journal= {arXiv preprint arXiv:2302.00431},
year = {2023}
}