层次化 Re-Basin 中的鲁棒性与正则化
机器学习
2026-05-20 v3
摘要
本文深入研究了 Git Re-Basin，一种有趣的合并训练模型的新方法。我们提出了一种层次化模型合并方案，显著优于标准的 MergeMany 算法。通过我们的新算法，我们发现 Re-Basin 能为合并后的模型诱导出对抗鲁棒性和扰动鲁棒性，且参与层次化合并的模型越多，该效果越强。然而，在我们的实验中，Re-Basin 导致的性能下降远大于原始作者所报告的。
引用
@article{arxiv.2510.09174,
title = {Robustness and Regularization in Hierarchical Re-Basin},
author = {Benedikt Franke and Florian Heinrich and Markus Lange and Arne Raulf},
journal= {arXiv preprint arXiv:2510.09174},
year = {2026}
}
备注
Published in 32th European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning, ESANN 2024