EyeTheia:轻量且可及的眼动跟踪工具箱
计算机视觉与模式识别
2026-01-13 v1
摘要
我们介绍 EyeTheia,一个轻量且开源的深度学习管线,用于基于网页的摄像头眼动估计,旨适用于浏览器-based 实验平台和现实世界的认知和临床研究。EyeTheia 仅需普通笔记本电脑摄像头即可实现实时眼动跟踪,将 MediaPipe-based 地标提取与受 iTracker 启发的卷积神经网络相结合,并支持可选的用户特定微调。我们检验了两种互补策略:(1) 使用在移动数据上预训练的模型适配, (2) 从头在面向桌面的数据集上训练相同架构。MPIIFaceGaze 上的验证结果显示,两种方法在校准前性能相当,而轻量级用户特定微调始终显著降低眼动预测误差。我们进一步在真实的 Dot-Probe 任务中评估 EyeTheia,并将其与商业摄像头-based 跟踪器 SeeSo SDK 进行比较。结果表明,尽管在时间上有更高的变动性,EyeTheia 在刺激呈现期间的左右眼动分配与 SeeSo SDK 强烈一致。总体而言,EyeTheia 提供了一个透明且可扩展的低成本眼动跟踪解决方案,适用于可扩展且可复现的实验和临床研究。代码、训练好的模型和实验材料已公开可用。
引用
@article{arxiv.2601.06279,
title = {EyeTheia: A Lightweight and Accessible Eye-Tracking Toolbox},
author = {Stevenson Pather and Niels Martignène and Arnaud Bugnet and Fouad Boutaleb and Fabien D'Hondt and Deise Santana Maia},
journal= {arXiv preprint arXiv:2601.06279},
year = {2026}
}
备注
Code for the EyeTheia gaze-tracking model: https://github.com/patherstevenson/EyeTheia. Experimental platform for the cognitive neuroscience task: https://git.interactions-team.fr/INTERACTIONS/calypso/src/branch/main/src/lonely_tester