预测网站上的眼动注视位置
计算机视觉与模式识别
2023-01-09 v3 人机交互
摘要
万维网以网站和网页为主要界面,促进了重要信息的传播。因此,优化它们以获得更好的用户交互至关重要,而这主要通过分析用户行为、尤其是用户的眼动注视位置来完成。然而,收集这些数据仍被认为耗费人力和时间。在本工作中,我们实现了以网站截图作为输入来自动估计眼动注视位置。这是通过整理一个统一数据集实现的,该数据集包含网站截图、眼动注视热力图以及以图像和文本掩码形式给出的网站布局信息。我们的预处理数据集使我们能够提出一种有效的基于深度学习的模型,该模型利用图像与文本的空间位置,并通过注意力机制进行融合以实现有效的眼动注视预测。在实验中,我们展示了利用统一数据集进行精细微调对提升眼动注视预测准确率的益处。我们进一步观察到模型聚焦于目标区域(图像和文本)以实现高准确率的能力。最后,与其他替代方法的比较显示了我们模型的 SOTA 结果,确立了眼动注视预测任务的基准。
引用
@article{arxiv.2211.08074,
title = {Predicting Eye Gaze Location on Websites},
author = {Ciheng Zhang and Decky Aspandi and Steffen Staab},
journal= {arXiv preprint arXiv:2211.08074},
year = {2023}
}