多样性的和谐：通过典型相关分析融合神经网络

通过集成组合多个训练模型的预测通常是利用模型不同学习特征来提高准确性的好方法，但它伴随着高昂的计算和存储成本。模型融合，即通过组合多个模型的参数将它们合并为一个模型的行为，降低了这些成本，但在实践中效果不佳。实际上，神经网络损失景观是高维且非凸的，通过学习找到的极小值通常被高损失障碍分隔开。最近的许多工作都集中在寻找将第一个网络的特征与第二个网络的特征匹配起来的排列，从而降低参数空间中它们之间线性路径上的损失障碍。然而，排列是受限的，因为它们假设不同模型的神经元之间存在一一映射。我们提出了一种新的模型融合算法，CCA Merge，它基于典型相关分析，旨在最大化模型特征的线性组合之间的相关性。我们表明，在平均在相同或不同数据分割上训练的模型时，我们的对齐方法比以往方法取得了更好的性能。我们还将此分析扩展到合并超过2个模型的更困难设置，并发现CCA Merge的效果显著优于以往方法。我们的代码公开在 https://github.com/shoroi/align-n-merge。