GAPrune：基于梯度对齐的领域感知嵌入剪枝

领域特定嵌入模型在需要专业语义理解的应用中（如编码智能体和金融检索系统）显示出良好的应用前景，往往比通用模型实现更高的性能提升。然而，基于 LLM 的最新嵌入模型通常包含数十亿参数，在资源受限的环境中部署具有挑战性。通过剪枝实现模型压缩是一个可行的解决方案，但现有剪枝方法会对所有参数统一处理，无法区分通用语义表示与领域特定模式，从而导致次优的剪枝决策。因此，我们提出了 GAPrune—a 一个考虑领域重要性和保留通用语言基础的剪枝框架。该方法使用Fisher 信息度量重要性，并通过通用领域梯度对齐评估参数行为，然后使用我们的领域对齐重要性（DAI）评分将这些信号组合。DAI 评分较低的指示该参数对领域任务不够重要，或在领域目标与通用目标之间存在冲突。在两个领域基准（FinMTEB 和 ChemTEB）上的实验表明，GAPrune 在 50% 稀疏度下的单次剪枝中，能在性能上仅低于稠密模型 2.5%，且优于所有基线方法。经过 100 步重新训练，GAPrune 在 FinMTEB 上实现 +4.51% 的提升，在 ChemTEB 上实现 +1.73% 的提升，表明我们的剪枝策略不仅能保留，还能增强领域特定能力。我们的发现表明，原则性的剪枝策略能够实现模型压缩和领域专业化，为研究社区提供了一种新的开发方法。