SPEAR-MM：基于模型合并的选择性参数评估与恢复，用于高效的金融 LLM 适配
计算与语言
2025-11-12 v1 人工智能
机器学习
谱理论
摘要
适配至金融领域的大型语言模型（LLM）常常会遭受对通用推理能力灾难性遗忘的问题，而这些能力对于客户交互与复杂金融分析至关重要。我们提出了基于模型合并的选择性参数评估与恢复（SPEAR-MM），这是一个在实现领域适配的同时保留关键能力的实用框架。我们的方法通过事后分析近似评估各层对外部基准测试的影响，随后通过球面插值合并选择性地冻结或恢复 Transformer 层。将该方法应用于 LLaMA-3.1-8B 的金融任务时，SPEAR-MM 实现了 91.2% 的通用能力保留率，而标准的持续预训练仅为 69.7%，同时维持了 94% 的领域适配增益。该方法提供了可解释的权衡控制，并将计算成本降低了 90%，这对于资源受限的金融机构至关重要。
引用
@article{arxiv.2511.08500,
title = {SPEAR-MM: Selective Parameter Evaluation and Restoration via Model Merging for Efficient Financial LLM Adaptation},
author = {Berkcan Kapusuzoglu and Supriyo Chakraborty and Renkun Ni and Stephen Rawls and Sambit Sahu},
journal= {arXiv preprint arXiv:2511.08500},
year = {2025}
}