基于曲率的 LLM 精调安全恢复方法
机器学习
2025-11-25 v1
摘要
为下游任务进行 LLM 精调时，常会捐失安全对齐，即使采用参数高效方法如 LoRA。本文发现了一个显著性质：精调后的模型在涉及有害内容的损失景观几何结构方面保持与基础模型一致。这表明安全行为并未被抹消，而是转移到参数空间中较不显著的区域。基于此洞察，我们提出一种曲率感知的对齐恢复方法，利用影响函数和二阶优化 selectively 增加有害输入上的损失，同时保持任务性能。通过导航基础模型与精调模型之间的共享几何，该方法在保持任务相关性能的同时抑制不安全输出，避免完整回滚，实现精确、低影响的更新。广泛的评估显示，在多个模型家族和对抗性情境下，我们的方法有效减少有害响应，同时保持甚至提升实用性和少样本学习性能。
引用
@article{arxiv.2511.18039,
title = {Curvature-Aware Safety Restoration In LLMs Fine-Tuning},
author = {Thong Bach and Thanh Nguyen-Tang and Dung Nguyen and Thao Minh Le and Truyen Tran},
journal= {arXiv preprint arXiv:2511.18039},
year = {2025}
}
备注
19 pages, 10 figures