词、子词与语素：在惊异度-阅读时间关系中真正重要的是什么？
计算与语言
2023-10-30 v1
摘要
在心理语言学数据上使用LLM（大语言模型）的一个重要假设一直未经验证。基于LLM的预测依赖于子词分词，而非将词分解为语素。这有关系吗？我们通过比较使用正字法、形态学和BPE分词的惊异度估计与阅读时间数据，对此进行了细致检验。我们的结果复现了先前发现，并提供证据表明总体上使用BPE分词的预测相对于形态学和正字法切分并不处于劣势。然而，更细粒度的分析指出了依赖基于BPE的分词存在的潜在问题，同时也给出了涉及形态学感知惊异度估计的 promising 结果，并提出了一种评估形态学预测的新方法。
引用
@article{arxiv.2310.17774,
title = {Words, Subwords, and Morphemes: What Really Matters in the Surprisal-Reading Time Relationship?},
author = {Sathvik Nair and Philip Resnik},
journal= {arXiv preprint arXiv:2310.17774},
year = {2023}
}
备注
Accepted to Findings of EMNLP 2023; 10 pages, 5 figures