在函数空间中遍历模式以实现快速集成

深度集成是一种简单而强大的方法，用于提升深度神经网络的性能。在此动机下，近期关于模式连通性的工作表明，集成模型的参数由低损失子空间连接，人们可以在这些子空间中高效地收集集成参数。虽然这提供了一种高效训练集成模型的方法，但在推理时，仍应使用所有集成参数执行多次前向传播，这往往成为实际部署中的严重瓶颈。在本工作中，我们提出了一种新颖的框架来降低此类成本。给定一个连接神经网络两个模式的低损失子空间，我们构建一个额外的神经网络，用于预测原始神经网络在该低损失子空间中某一点处的输出。这个我们称为“桥(bridge)”的额外神经网络是一个轻量级网络，它从原始网络中提取最少的特征，并在不通过原始网络进行前向传播的情况下预测低损失子空间的输出。我们通过实验证明，我们确实可以训练这样的桥网络，并借助桥网络显著降低推理成本。