CAMEx：基于曲率的专家合并方法

现有专家合并方法在模型训练和微调期间主要依赖欧几里得几何，假设参数空间为平坦，这一假设会限制模型的泛化能力，尤其是在预训练阶段，参数流形可能呈现更复杂的曲率。曲率感知的合并方法通常需要额外的信息和计算资源来近似 Fisher 信息矩阵，增加内存开销。本文引入 CAMEx（Curvature-Aware Merging of Experts），一种新颖的专家合并协议，采用自然梯度以考虑参数流形的非欧几里得曲率。通过利用自然梯度，CAMEx 能更有效地适应参数空间的结构，提高模型更新与流形几何之间的对齐。这一方法增强了预训练和微调，实现更好的优化轨迹和更好的泛化能力，而无需曲率感知方法通常附带的大量内存开销。我们的贡献有三点：(1) CAMEx 在各种自然语言处理任务上显著优于传统基于欧几里得的专家合并技术，提升了预训练和微调中的性能；(2) 我们引入动态合并架构，优化资源利用，实现高性能的同时降低计算成本，促进了大型语言模型的高效扩展；(3) 我们提供理论和实证证据，证明我们方法的有效性。代码已公开：https://github.com/kpup1710/CAMEx。