你真的在看我吗？一种从常规视频估计人际眼动注视的特征提取框架
计算机视觉与模式识别
2020-01-22 v2 人机交互
摘要
尽管摄像头已革命性地普及于日常生活，但最有意义的非语言情感交流形式之一——人际眼动注视（即相对于对话对象的眼动注视）却无法从普通视频中获取。我们提出人际校准眼动注视编码器（ICE），可在无需专用硬件且无需预先知晓参与者位置的情况下，从视频记录中自动提取人际注视。基于个体在对话中大部分时间互相注视的直觉，ICE动态聚类算法得以提取人际注视。我们在视频聊天中以红外注视追踪器的客观指标（F1=0.846，N=8）验证了ICE，并在面对面交流中以专家评级的眼神接触评估（r=0.37，N=170）加以验证。随后我们利用ICE分析两个不同但重要的情感交流领域中的行为：基于讯问的欺骗检测，以及速配中的沟通技巧评估。我们发现，诚实证人在回答问题时比欺骗证人更频繁地中断人际注视接触并向下看（p=0.004，d=0.79）。在预测速配视频中的专家沟通技巧评分时，我们证明仅人际注视比面部表情具有更强的预测力。
引用
@article{arxiv.1906.12175,
title = {Are you really looking at me? A Feature-Extraction Framework for Estimating Interpersonal Eye Gaze from Conventional Video},
author = {Minh Tran and Taylan Sen and Kurtis Haut and Mohammad Rafayet Ali and Mohammed Ehsan Hoque},
journal= {arXiv preprint arXiv:1906.12175},
year = {2020}
}