基于单子投影的后优化模型编辑 POME
机器学习
2025-10-09 v1
摘要
我们提出了后优化模型编辑 (Post-Optimization Model Edit, POME) 一种新型算法，通过仅利用预训练和微调的模型检查点，提升微调后大型语言模型的性能，而无需额外数据或进一步优化。核心思想是对 （即微调权重与预训练权重之差）应用单子风格投影。该投影使用截断奇异值分解 (SVD) 来均衡主导更新方向的影响，并剔除常代表噪声的小奇异值。作为一个后处理步骤，POME完全独立于训练流程，需零修改且不增加额外开销，因而与任何优化器或分布式框架兼容。POME 能持续提供性能提升，在 GSM8K 上的平均性能提升 +2.5%，代码生成任务上提升 +1.0%。其广泛适用性——从 7B 基础模型到 72B RLHF 指导模型——使其成为微调任何管道的实用、零成本增强。代码已在 https://github.com/NUS-HPC-AI-Lab/POME 提供。
引用
@article{arxiv.2510.06627,
title = {POME: Post Optimization Model Edit via Muon-style Projection},
author = {Yong Liu and Di Fu and Yang Luo and Zirui Zhu and Minhao Cheng and Cho-Jui Hsieh and Yang You},
journal= {arXiv preprint arXiv:2510.06627},
year = {2025}
}