训练期间的线性近因偏差改善了Transformer与阅读时间的拟合度
计算与语言
2024-09-18 v1
摘要
最近的心理语言学研究将人类阅读时间与语言模型的意外值估计进行比较，以研究塑造人类句子处理难度的因素。先前的研究表明，Transformer 的意外值与阅读时间之间存在很强的拟合度。然而，标准的 Transformer 使用整个先前语言上下文的无损表示，这与包含记忆衰减的人类语言处理模型不同。为了弥合这一差距，本文评估了一种 Transformer 模型的修改方案，该方案使用 ALiBi（Press et al., 2022），一种添加到注意力分数中的近因偏差。与标准 Transformer 基线相比，使用 ALiBi 的意外值估计显示出与人类阅读时间的拟合度有所改善。随后的注意力头分析表明，ALiBi 的斜率混合——它决定了每个注意力头中的记忆衰减率——可能通过帮助带有 ALiBi 的模型追踪不同类型的语言依存关系，从而在改善中发挥作用。
引用
@article{arxiv.2409.11250,
title = {Linear Recency Bias During Training Improves Transformers' Fit to Reading Times},
author = {Christian Clark and Byung-Doh Oh and William Schuler},
journal= {arXiv preprint arXiv:2409.11250},
year = {2024}
}