基于梯度正交性的数据选择训练：提高领域自适应效率
机器学习
2026-02-09 v1 人工智能
摘要
为专业领域微调大型语言模型（LLM）时，常需在获取领域专业知识与保持通用推理能力之间进行权衡，这一现象被称为灾难性遗忘。现有方法面临一种二元困境：梯度手术方法提供几何安全性，但通过在线投影导致计算成本高昂；而高效数据选择方法则降低了开销，但对引发梯度冲突的方向毫无察觉。本文提出正交梯度选择（Orthogonal Gradient Selection, OGS）方法，旨在协调领域性能、通用能力保留与训练效率。OGS 将梯度投影的几何洞见从优化器转移至数据选择阶段，将数据选择视为受约束的决策过程。通过利用轻量级 Navigator 模型和强化学习技术，OGS 动态识别其梯度与通用知识锚点正交的训练样本。该方法无需修改优化器或 incur runtime 投影成本，即可实现自然安全的模型更新。跨医疗、法律和金融领域的实验表明，OGS 取得优异成绩，显著提高了领域性能和训练效率，同时保持甚至提升了GSM8K等通用任务的性能。
引用
@article{arxiv.2602.06359,
title = {Training Data Selection with Gradient Orthogonality for Efficient Domain Adaptation},
author = {Xiyang Zhang and Yuanhe Tian and Hongzhi Wang and Yan Song},
journal= {arXiv preprint arXiv:2602.06359},
year = {2026}
}