基于眼动追踪与大语言模型的位置感知系统
人机交互
2024-12-16 v4 人工智能
计算机视觉与模式识别
摘要
在换行阅读过程中,丢失阅读进度往往令人沮丧。眼动追踪技术通过高亮已阅读的段落来帮助用户避免错误换行,但眼动追踪精度(2-3 cm)与文本行间距(3-5 mm)之间的差距使得直接应用不可行。现有方法依赖线性阅读模式,却在跳转阅读时效果不佳。本文提出一种支持线性与跳转两种阅读方式的跟踪与高亮系统。基于对16名用户眼动本质研究的实验洞察,设计了两种眼动误差模型,实现跳转阅读检测与定位。系统进一步利用大语言模型的上下文感知能力辅助阅读跟踪。还发现阅读跟踪领域的专用行-眼动对齐机会,可实现对眼动结果的动态且频繁的校准。控制实验表明,系统可靠地实现线性阅读跟踪,跳转阅读跟踪准确率达84%。此外,针对18名志愿者的现场测试显示,系统在跟踪与高亮已阅读段落方面有效,提升了阅读效率,增强了用户体验。
引用
@article{arxiv.2409.19454,
title = {See Where You Read with Eye Gaze Tracking and Large Language Model},
author = {Sikai Yang and Gang Yan and Wan Du},
journal= {arXiv preprint arXiv:2409.19454},
year = {2024}
}
备注
9 pages