离散度测量作为词汇决策时间、单词熟悉度和词汇复杂度的预测因子
计算与语言
2025-01-14 v1
摘要
各种离散度测量已被提出以更全面地描绘单词在语料库中的分布,但对其外部验证却很少。我们评估了广泛的离散度测量作为词汇决策时间、单词熟悉度和词汇复杂度的预测因子,涉及五种不同语言。我们发现,对数范围不仅在所有任务和语言中都是比对数频率更好的预测因子,而且它还是对数频率之外最强大的附加变量,始终优于更复杂的离散度测量。我们讨论了语料库部分粒度和对数变换的影响,揭示了先前研究矛盾结果的原因。
引用
@article{arxiv.2501.06536,
title = {Dispersion Measures as Predictors of Lexical Decision Time, Word Familiarity, and Lexical Complexity},
author = {Adam Nohejl and Taro Watanabe},
journal= {arXiv preprint arXiv:2501.06536},
year = {2025}
}
备注
Pre-print, to be presented at the NLP Meeting 2025 (www.anlp.jp - NON-REVIEWED)