从面部表情检测认知评估以实现兴趣识别

兴趣使人将注意力保持在感兴趣的对象上。兴趣的自动识别在人机交互中有众多应用。本文研究了与兴趣及其底层密切相关成分（即好奇心、应对潜力、新颖性和复杂性）相关的面部表情。为此，我们进行了一项实验，参与者在观看图像和微视频时由前置摄像头记录其表情。在观看每个条目后，他们自我报告其兴趣、好奇心、应对潜力以及感知到的新颖性和复杂性的水平。使用自动化方法，我们追踪了面部动作单元并研究了面部动作的出现与兴趣及其相关成分之间的关系。随后我们追踪了面部标志点（如嘴角），并从每个响应中提取特征。我们训练了随机森林回归模型来检测兴趣、好奇心和评估的水平。我们发现人们报告和对有趣视觉内容作出反应的方式之间存在巨大差异。根据参与者的不同，对图像和微视频作出反应的表情并不总是显著的。这使得直接从面部表情检测兴趣成为一个具有挑战性的问题。通过这项工作，我们首次展示了从面部表情检测认知评估的可行性，这将为评估驱动的情绪识别方法打开大门。