通过隐式 Sinkhorn 微分实现重 basins
计算机视觉与模式识别
2022-12-26 v1
摘要
近期出现的将模型置换到解空间中功能等价区域的新算法，揭示了误差曲面的复杂性以及一些有前景的性质如模式连通性。然而，找到正确的置换具有挑战性，且当前的优化技术不可微分，这使其难以整合进基于梯度的优化中，并常导致次优解。在本文中，我们提出一种 Sinkhorn 重 basin 网络，能够获取更契合给定目标的传输方案。与当前最优方法不同，我们的方法可微分，因此易于适配深度学习领域内的任意任务。此外，我们通过提出一种新的代价函数展示重 basin 方法的优势，该函数利用线性模式连通性性质实现增量学习。在最优传输求解和线性模式连通性的多种条件下，我们将本方法的益处与文献中类似方法进行比较。基于重 basin 的持续学习方法在多个常用基准数据集上也展现出有效性，提供的实验结果可与文献中最优结果相竞争。
引用
@article{arxiv.2212.12042,
title = {Re-basin via implicit Sinkhorn differentiation},
author = {Fidel A. Guerrero Peña and Heitor Rapela Medeiros and Thomas Dubail and Masih Aminbeidokhti and Eric Granger and Marco Pedersoli},
journal= {arXiv preprint arXiv:2212.12042},
year = {2022}
}