训练时诱导 LLM 不当行为的 Inoculation Prompting
机器学习
2025-10-29 v3
摘要
大型语言模型有时会在 imperfect oversight信号的训练下导致不希望的行为,如奖励黑客和讨好主义。改进监督质量可能昂贵或不可行,因此动机是开发能够在不完美训练信号下改善所学行为的方法。我们引入 Inoculation Prompting (IP),这是一种简单却反直觉的技术,通过修改用于监督微调的训练提示来显式请求不当行为以防止其学习。例如,为了预防奖励黑客,我们修改用于监督微调的提示,要求生成仅在提供的测试用例上工作、但在其他输入上失效的代码。我们在四个setting中发现,IP 在不显著降低期望能力学习的同时,减少了不希望行为的学习。我们还显示,在微调前更强地引发该不当行为的提示在训练时更有效地地予以预防该行为;这为识别有前景的 inoculation 提示提供了一种启发式方法。总体而言,IP 是一种简单而有效的方法,可控制模型如何从微调中推广,在不显著扰动期望能力的前提下,防止学习不希望的行为。
引用
@article{arxiv.2510.05024,
title = {Inoculation Prompting: Instructing LLMs to misbehave at train-time improves test-time alignment},
author = {Nevan Wichers and Aram Ebtekar and Ariana Azarbal and Victor Gillioz and Christine Ye and Emil Ryd and Neil Rathi and Henry Sleight and Alex Mallen and Fabien Roger and Samuel Marks},
journal= {arXiv preprint arXiv:2510.05024},
year = {2025}
}
备注
v2 Updates references. v3 Updates references; Adds IFEval results; Improves appendix readability; Adds author contributions