用于OPT查看期间专长分类的深度语义注视嵌入与扫描路径比较
机器学习
2020-04-01 v1 人机交互
机器学习
摘要
对表征专长行为的眼睛运动进行建模在用户评估中具有决定性作用。然而，任务语义会影响注视行为这一点是毋庸置疑的。我们提出了一种新颖的注视扫描路径比较方法，该方法结合卷积神经网络（CNN）在注视点层面处理场景信息。与各个注视点相关的图像块被用作CNN的输入，由此产生的特征向量提供了扫描路径相似性比较所需的时空注视信息。我们使用局部对齐相似度得分，在专家与新手牙医解读牙科X光片的注视数据上评估了所提出的方法。该方法能够在结合图像语义的同时，以93%的准确率区分专家与新手。此外，我们使用图像块特征的扫描路径比较方法，有潜力结合来自多种任务的任务语义。
引用
@article{arxiv.2003.13987,
title = {Deep semantic gaze embedding and scanpath comparison for expertise classification during OPT viewing},
author = {Nora Castner and Thomas Kübler and Katharina Scheiter and Juilane Richter and Thérése Eder and Fabian Hüttig and Constanze Keutel and Enkelejda Kasneci},
journal= {arXiv preprint arXiv:2003.13987},
year = {2020}
}