打破大型语言模型忠诚性与表达性之间的权衡
计算与语言
2025-08-27 v1 人工智能
摘要
以外部知识为响应提供依据是缓解大型语言模型（LLMs）幻觉的有效策略，但当前LLMs难以在保持忠诚性（或忠实性）和表达性这两项能力——人类天然具备的能力——之间实现无缝集成。这种局限性导致输出要么缺乏外部知识的支持，损害忠诚性，要么过于冗长且不自然，牺牲表达性。本文提出一种协同解码方法（Collaborative Decoding, CoDe），通过动态集成带与不带外部知识生成的输出概率来打破忠诚性与表达性之间的权衡。这种集成依据分布偏差和模型置信度引导，实现对模型内部参数中相关且可靠表达的选择性激活。此外，我们引入一种知识感知的重新排序机制，防止过度依赖先验参数知识，同时确保正确利用提供的外部信息。通过全面实验，我们的即插即用CoDe框架在提升忠诚性而不牺牲表达性方面表现优异，跨越各种LLMs和评估指标，验证了其有效性和通用性。
引用
@article{arxiv.2508.18651,
title = {Breaking the Trade-Off Between Faithfulness and Expressiveness for Large Language Models},
author = {Chenxu Yang and Qingyi Si and Zheng Lin},
journal= {arXiv preprint arXiv:2508.18651},
year = {2025}
}