从讨好者到说实话者：通过精准调优解决大型语言模型的讨好问题
计算与语言
2025-02-06 v3
摘要
大型语言模型（LLMs）倾向于优先遵循用户提示，而非提供真实的响应，导致讨好问题。当受到用户挑战时，LLMs 倾向于承认错误并提供不准确的响应，即便最初提供了正确的答案。最近的研究提出通过监督微调（SFT）来缓解讨好问题，但这通常会导致 LLMs 的通用能力退化。为此，我们提出一种新颖的监督精准调优（SPT）方法，即针对特定目标，对区域感兴趣的模块进行调优。具体而言，SPT 首先揭示并验证一小部分（<5%）的基本模块，这些模块显著影响 LLMs 的特定行为，即讨好问题。随后，SPT 仅对这些识别出的模块进行微调，而冻结其余模块。为验证所提出方法的有效性，我们进行了全面的实验，表明 SPT 显著缓解了 LLMs 的讨好问题（甚至优于 SFT）。此外，SPT 对 LLMs 的通用能力引入有限甚至没有副作用。我们的结果为如何精确、有效且高效地解释和改进 LLMs 的目标能力提供了启示。代码和数据已公开于 https://github.com/yellowtownhz/sycophancy-interpretability。
引用
@article{arxiv.2409.01658,
title = {From Yes-Men to Truth-Tellers: Addressing Sycophancy in Large Language Models with Pinpoint Tuning},
author = {Wei Chen and Zhen Huang and Liang Xie and Binbin Lin and Houqiang Li and Le Lu and Xinmei Tian and Deng Cai and Yonggang Zhang and Wenxiao Wang and Xu Shen and Jieping Ye},
journal= {arXiv preprint arXiv:2409.01658},
year = {2025}
}
备注
accepted by ICML 2024, code and data are available at https://github.com/yellowtownhz/sycophancy-interpretability