Logits 重放 + MoClip：低成本、稳定的后训练方法，实现最小遗忘
机器学习
2025-10-13 v1
摘要
大型语言模型 (LLM) 在后训练过程中常面临权衡：针对特定领域的改进往往以牺牲通用能力为代价。现有解决方案通过正则化、选择性参数更新或数据中心化重放来缓解这一张力，但这些方法在计算、数据访问或可适应性方面都施加了显著成本。最近的研究表明，训练信号可压缩为 logits 的子集，同时维持严格的准确率，指明了一条高效适应的路径。然而，朴素的截断会导致优化不稳定并加剧遗忘。我们提出 Logits 重放 + MoClip，一个两阶段框架，在 logits 空间压缩监督信号，并在更新层面稳定优化。在阶段 0，我们记录动态的 Top-K token 子集，这些子集覆盖一定概率阈值，始终包含正确标签。在阶段 1，我们重放这些紧凑子集以计算精确的重新归一化损失，避免完整 softmax 计算，潜在地进行正则化。为确保稳定性，我们设计了 MoClip 优化器，限制梯度动量旋转，并应用基于 arctan2 的更新缩放。实验表明，我们的方法在通信技术 (CT) 和 NL2SQL 任务上提升了领域性能，同时在一般基准 (MMLU、BBH、GPQA、MATH) 上减轻了遗忘，并将训练成本降低超过 40%。这些贡献为在不牺牲泛化能力的前提下，对 LLM 进行领域适应提供了可扩展且与体系结构无关的路径。
引用
@article{arxiv.2510.09152,
title = {Logits Replay + MoClip: Stabilized, Low-Cost Post-Training with Minimal Forgetting},
author = {Suming Qiu and Jing Li and Zhicheng Zhou and Junjie Huang and Linyuan Qiu and Zhijie Sun},
journal= {arXiv preprint arXiv:2510.09152},
year = {2025}
}