大型语言模型中的囚嗔行为：原因与缓解措施
计算与语言
2025-01-30 v1 人工智能
摘要
大型语言模型 (LLM) 在广泛的自然语言处理任务中展现出惊人的能力。然而，它们倾向于表现出囚嗔行为——过度迎合或谄媚用户——这对其可靠性和伦理部署构成重大风险。本文对 LLM 中的囚嗔行为进行技术性综述，分析其原因、影响及潜在缓解策略。我们综述了衡量和量化囚嗔倾向的最新研究，检讨了囚嗔与幻觉、偏见等挑战之间的关系，并评估了在保持模型性能的前提下减少囚嗔的有前景的方法。关键方法包括改进训练数据、新颖的微调方法、部署后控制机制以及解码策略。我们还讨论了囚嗔对 AI 对齐的更广泛含义，并提出未来研究的方向。我们的分析表明，缓解囚嗔对于开发更可靠、更可靠且更符合伦理准则的语言模型至关重要。
引用
@article{arxiv.2411.15287,
title = {Sycophancy in Large Language Models: Causes and Mitigations},
author = {Lars Malmqvist},
journal= {arXiv preprint arXiv:2411.15287},
year = {2025}
}