眼动轨迹作为上下文型AI系统传递用户注意力的信号

虽然先进的多模态AI智能体现在世界问题上能够与用户协作，但这些新兴的上下文型AI系统依赖用户与系统之间的显式通信信道。我们假设，隐式传递用户兴趣和意图的通信方式将有助于减少与AI智能体协作时的摩擦并提升用户体验。本文我们探索利用可穿戴式眼动追踪技术传递用户注意力信号的潜力。我们测量眼动信号质量要求，以有效将凝视轨迹映射到物理对象，然后开展实验，作为查询视觉语言模型时的额外上下文提供视觉扫描路径历史。我们的结果表明，眼动追踪作为用户注意力信号具有很高的价值，能够传递关于用户当前任务和兴趣的重要上下文信息，提升对上下文型AI智能体的理解。