从扫描路径中学习眼动行为
计算机视觉与模式识别
2021-08-12 v1 人机交互
机器学习
摘要
识别与眼动追踪应用相关的眼动行为是一项关键但往往具有挑战性的任务。旨在从现有眼动追踪数据中自动学习与提取知识，我们开发了一种新方法，该方法创建丰富的眼动扫描路径表示，以促进下游任务的学习。所提出的刺激无关眼动行为框架（OBF）模型从无监督和半监督任务中学习人类眼动行为，包括重建、预测编码、注视识别和对比学习任务。所得的预训练 OBF 模型可用于多种应用。我们的预训练模型在自闭症谱系障碍和观看刺激分类任务中优于基线方法与传统的扫描路径方法。消融实验进一步表明，我们所提方法在更大模型规模和更多样化眼动追踪训练数据集下可取得更好结果，支撑了该模型在未来眼动追踪应用中的潜力。开源代码：http://github.com/BeibinLi/OBF。
引用
@article{arxiv.2108.05025,
title = {Learning Oculomotor Behaviors from Scanpath},
author = {Beibin Li and Nicholas Nuechterlein and Erin Barney and Claire Foster and Minah Kim and Monique Mahony and Adham Atyabi and Li Feng and Quan Wang and Pamela Ventola and Linda Shapiro and Frederick Shic},
journal= {arXiv preprint arXiv:2108.05025},
year = {2021}
}
备注
Accepted ACM ICMI 2021