可微树集成中的线性模式连通性

线性模式连通性 (LMC) 指表征在参数空间中对线性插值模型性能保持一致的现象。对于来自不同随机初始化的独立优化模型对，实现 LMC 被认为是理解现代机器学习模型中非凸优化稳健成功的关键，以及促进实用参数操作（如模型合并）的关键。虽然通过考虑每层隐藏层中神经元的置换不变性已实现神经网络的 LMC，但其他模型的 LMC 实现仍是开放问题。本文首先为软树集成实现 LMC，这些是广泛用于实践的基于树的可微模型。我们表明，除了神经网络中不存在的树置换不变性外，还必须纳入两种作用：子树翻转不变性和分割顺序不变性，这些不变性固有存在于树结构中。此外，我们展示，即使排除此类额外不变性，仍可通过设计基于决策列表的树结构实现 LMC，因为此类不变性在定义上不存在。我们的发现表明，在实现 LMC 中考虑特定于架构的不变性具有重要意义。