EyeFormer：使用Transformer引导的强化学习预测个性化扫描路径
计算机视觉与模式识别
2024-04-23 v2 人工智能
人机交互
机器学习
摘要
从视觉感知的角度来看，现代图形用户界面（GUI）由文本、图像以及按钮和菜单等交互对象组成的复杂图形丰富的二维视觉空间排列构成。虽然现有模型可以准确预测“平均而言”可能吸引注意力的区域和对象，但到目前为止，还没有能够预测个体扫描路径的扫描路径模型。为了填补这一空白，我们引入了EyeFormer，它利用Transformer架构作为策略网络来指导控制注视位置的深度强化学习算法。我们的模型具有独特的能力，在给定少量用户扫描路径样本时产生个性化预测。它可以预测完整的扫描路径信息，包括注视位置和持续时间，适用于不同个体和各种刺激类型。此外，我们还展示了由我们的模型驱动的GUI布局优化应用。我们的软件和模型将公开提供。
引用
@article{arxiv.2404.10163,
title = {EyeFormer: Predicting Personalized Scanpaths with Transformer-Guided Reinforcement Learning},
author = {Yue Jiang and Zixin Guo and Hamed Rezazadegan Tavakoli and Luis A. Leiva and Antti Oulasvirta},
journal= {arXiv preprint arXiv:2404.10163},
year = {2024}
}