Gaze-in-Wild：一个用于研究日常活动中眼动与头部协调的数据集
计算机视觉与模式识别
2020-06-11 v1
摘要
前庭系统与眼动系统之间的相互作用主要在受控环境中被研究。因此，当允许头部运动时，现成的注视事件（如注视、平滑追踪、扫视）分类工具会失效。我们的方法是收集一个新颖的、自然主义的、多模态的眼动+头部运动数据集，受试者佩戴配备惯性测量单元和3D立体相机的移动眼动仪执行日常任务。该Gaze-in-the-Wild数据集（GW）包含眼动+头部旋转速度（度/秒）、红外眼图像和场景图像（RGB+D）。其中一部分由编码员标注为注视运动事件，基于样本的Cohen's 相互一致性为0.72。该标注数据被用于训练和评估两种机器学习算法，随机森林和循环神经网络模型，用于注视事件分类。评估涉及已建立的和新颖的基于事件的性能度量。分类器在检测注视和扫视时达到约90%的人类表现，但在检测平滑追踪运动时表现不足（60%）。此外，在缺乏头部运动信息的情况下，平滑追踪分类更差。对我们性能最佳模型中特征显著性的后续分析揭示了其对绝对眼动和头部速度的依赖，表明分类不需要头部和眼动跟踪坐标系的空间对齐。GW数据集、训练好的分类器和评估度量将公开提供，旨在促进无头约束注视事件分类这一新兴领域的成长。
引用
@article{arxiv.1905.13146,
title = {Gaze-in-wild: A dataset for studying eye and head coordination in everyday activities},
author = {Rakshit Kothari and Zhizhuo Yang and Christopher Kanan and Reynold Bailey and Jeff Pelz and Gabriel Diaz},
journal= {arXiv preprint arXiv:1905.13146},
year = {2020}
}
备注
23 pages, 11 figures, 10 tables, Dataset can be found at http://www.cis.rit.edu/~rsk3900/