面向所有人的视线追踪
计算机视觉与模式识别
2016-06-21 v1
摘要
从科学研究到商业应用，视线追踪是跨越许多领域的重要工具。尽管其应用范围广泛，视线追踪尚未成为一项普及的技术。我们相信，通过构建能在手机和平板电脑等商品硬件上运行而无需额外传感器或设备的视线追踪软件，我们可以将视线追踪的能力置于每个人的掌中。我们通过引入 GazeCapture 来解决这个问题，这是首个用于视线追踪的大规模数据集，包含来自超过 1450 人的数据，由近 250 万帧组成。使用 GazeCapture，我们训练了 iTracker，一个用于视线追踪的卷积神经网络，它在现代移动设备上实时（10-15fps）运行的同时，比以往方法显著降低了误差。我们的模型在手机和平板电脑上无需校准时的预测误差分别为 1.71cm 和 2.53cm。经过校准后，误差分别降至 1.34cm 和 2.12cm。此外，我们证明了 iTracker 学习到的特征能很好地泛化到其他数据集，取得了 SOTA 结果。代码、数据和模型可在 http://gazecapture.csail.mit.edu 获取。
引用
@article{arxiv.1606.05814,
title = {Eye Tracking for Everyone},
author = {Kyle Krafka and Aditya Khosla and Petr Kellnhofer and Harini Kannan and Suchendra Bhandarkar and Wojciech Matusik and Antonio Torralba},
journal= {arXiv preprint arXiv:1606.05814},
year = {2016}
}
备注
The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016