机制化模式连通性

我们通过模式连通性（mode connectivity）的视角研究神经网络损失景观，即观察到在数据集上训练得到的神经网络极小化器通过低损失的简单路径相连。具体而言，我们提出以下问题：依赖于不同机制进行预测的极小化器是否通过低损失的简单路径相连？我们给出了机制相似性（mechanistic similarity）的定义，即共享对输入变换的不变性，并证明两个模型之间缺乏线性连通性意味着它们使用不同的机制进行预测。就实践而言，该结果帮助我们证明，在下游数据集上的朴素微调可能未能改变模型的机制，例如，微调可能未能消除模型对虚假属性的依赖。我们的分析还启发了一种针对模型机制进行定向改变的方法，称为基于连通性的微调（connectivity-based fine-tuning, CBFT），我们使用多个合成数据集对其在减少模型对虚假属性依赖的任务上进行了分析。