OASST-ETC 数据集：基于 LLM 响应眼动分析的 Alignment 信号
计算与语言
2025-06-04 v3 人工智能
摘要
尽管大语言模型（LLM）显著推进了自然语言处理，但使其与人类偏好保持一致仍是一个开放挑战。当前的 Alignment 方法主要依赖显式反馈，而眼动追踪（ET）数据则能洞察阅读过程中的实时认知加工。在本文中，我们提出了 OASST-ETC，一个新颖的眼动追踪语料库，在评估来自 OASST1 数据集的 LLM 生成响应的同时，记录了 24 名参与者的阅读模式。我们的分析揭示了偏好响应与非偏好响应之间不同的阅读模式，并将其与合成眼动追踪数据进行了比较。此外，我们考察了人类阅读测量值与各种基于 Transformer 模型的注意力模式之间的相关性，发现在偏好响应中具有更强的相关性。这项工作为研究 LLM 评估中的人类认知加工引入了独特的资源，并为将眼动追踪数据纳入 Alignment 方法提供了有前景的方向。数据集和分析代码已公开可用。
引用
@article{arxiv.2503.10927,
title = {OASST-ETC Dataset: Alignment Signals from Eye-tracking Analysis of LLM Responses},
author = {Angela Lopez-Cardona and Sebastian Idesis and Miguel Barreda-Ángeles and Sergi Abadal and Ioannis Arapakis},
journal= {arXiv preprint arXiv:2503.10927},
year = {2025}
}
备注
This paper has been accepted to ACM ETRA 2025 and published on PACMHCI