意义随时间的动态变化：对大型语言模型的评估
计算与语言
2025-01-13 v1 人工智能
摘要
理解大型语言模型（LLMs）如何掌握概念的历史语境及其语义演变，对于推进人工智能和语言学研究至关重要。本研究旨在评估各种 LLMs 捕捉意义时间动态的能力，特别是它们如何解释不同时期的术语。我们分析了来自多个领域的多样化术语集，使用定制提示词，并通过客观指标（如困惑度和词数）与主观人类专家评估来衡量响应。我们的比较分析包括 ChatGPT、GPT-4、Claude、Bard、Gemini 和 Llama 等知名模型。结果揭示了各模型在处理历史语境和语义转变方面的显著差异，突显了其在时间语义理解上的优势与局限。这些见解为改进 LLMs 以更好地应对语言的演变特性奠定了基础，对历史文本分析、AI 设计以及数字人文学科的应用具有启示意义。
引用
@article{arxiv.2501.05552,
title = {The dynamics of meaning through time: Assessment of Large Language Models},
author = {Mohamed Taher Alrefaie and Fatty Salem and Nour Eldin Morsy and Nada Samir and Mohamed Medhat Gaber},
journal= {arXiv preprint arXiv:2501.05552},
year = {2025}
}