文本中的自相关衰减与语言模型的适用性界限
计算与语言
2023-05-12 v1
摘要
我们表明文本中自相关衰减的规律与语言模型的适用性界限密切相关。利用分布语义学，我们经验性地证明文本中词的自相关按幂律衰减。我们表明分布语义学为翻译成多种语言的文本提供了连贯的自相关衰减指数。生成文本中的自相关衰减在定量上且常在定性上不同于文学文本。我们得出结论：表现出马尔可夫行为的语言模型，包括大型自回归语言模型，在应用于长文本的分析或生成时可能存在局限性。
引用
@article{arxiv.2305.06615,
title = {Autocorrelations Decay in Texts and Applicability Limits of Language Models},
author = {Nikolay Mikhaylovskiy and Ilya Churilov},
journal= {arXiv preprint arXiv:2305.06615},
year = {2023}
}
备注
Accepted to Dialog-2023