面向高效短文本生成的LLM全息特性研究
计算与语言
2026-02-02 v1 人工智能
摘要
近期大语言模型（LLM）的进展吸引了人们探索其内在学习能力和链式思维能力。然而，针对LLM强大生成能力的特定特征鲜有研究。本文旨在深入探讨LLM所展现的生成特性。通过我们的调查，我们发现语言模型倾向于在生成过程的开始阶段捕获目标侧关键词。我们将这一现象命名为语言模型的全息特性。为了探索这一特性并进一步提高语言模型的推理效率，我们提出了一种名为HOLO的插件，该插件利用全息特性在有限的生成步骤内从语言模型中提取目标侧关键词，并采用并行的词汇约束文本生成方法来补充句子。为验证HOLO的有效性，我们在不同架构和规模的语言模型上进行大量实验，聚焦于短文本生成场景。结果表明，HOLO在自动评估和人类似乎评估指标上均表现出与基准相当的性能，并凸显了全息特性的潜在价值。
引用
@article{arxiv.2601.22546,
title = {Towards the Holographic Characteristic of LLMs for Efficient Short-text Generation},
author = {Shun Qian and Bingquan Liu and Chengjie Sun and Zhen Xu and Baoxun Wang},
journal= {arXiv preprint arXiv:2601.22546},
year = {2026}
}