更对齐，更少样本？分析两代大型语言模型的语法与词汇
计算与语言
2026-05-08 v1
摘要
本研究为日益增长的研究线之一，旨在比较生成的文本与人类撰写文本，具体为英文新闻文本。我们特别关注通过形式语法框架评估语法属性。我们的分析将两种生成的文本与两种不同年份的人类撰写英文新闻数据集进行比较。采用头动力短语结构语法（Head-Driven Phrase Structure Grammar, HPSG）形式alism，我们检验 AI 生成文本和人类撰写的纽约时报文章中语法结构和词汇类型的分布。我们使用生态学和信息论中的多样性指标来量化语法构造和词汇类型的变化。我们表明，在给定时间框架内，英文新闻文本几乎没有变化，而更新的 LLM 显示出较少的语法和尤其是词汇多样性，与旧的非指令调优模型相比。这一发现指向未来工作，研究指令调优的效果，而指令调优虽然增强了连贯性和提示遵循性，却可能缩小模型输出的表达范围。
引用
@article{arxiv.2605.06030,
title = {More Aligned, Less Diverse? Analyzing the Grammar and Lexicon of Two Generations of LLMs},
author = {Adrián Gude and Roi Santos-Ríos and Francis Bond and Dan Flickinger and Carlos Gómez-Rodríguez and Olga Zamaraeva},
journal= {arXiv preprint arXiv:2605.06030},
year = {2026}
}