Self-Soupervision：无标签烹饪模型汤
机器学习
2026-02-04 v1
摘要
模型汤是奇异且奇异有效的参数组合。它们取一个模型（基酒），微调成多个模型（食材），然后将其参数混合回一个模型（汤）以提高预测。虽然所有已知的汤都需要监督学习，并在标记数据上优化相同的损失，但我们的 Self-Soup 配方将汤推广到自监督学习 (SSL)。我们的 Self-Souping 让我们能够在新数据源上为食材添加风味，例如从任务的未标记数据进行迁移，或从鲁棒性的 shift 中提取。我们展示在受损测试数据上进行 Self-Souping，然后在未受损训练数据上进行微调，可将鲁棒性提升 +3.5% (ImageNet-C) 和 +7% (LAION-C)。Self-Soupervision 也为无数 SSL 算法解锁烹饪更鲁棒汤所需的多样化食材。我们首次展示食材可以在其 SSL 超参数上有所不同——且更出人意料的是，在其 SSL 算法上有所不同。我们烹饪由 MAE、MoCoV3 和 MMCR 食材组成的汤，这些汤的准确性超过任何单个 SSL 食材。
引用
@article{arxiv.2602.02890,
title = {Self-Soupervision: Cooking Model Soups without Labels},
author = {Anthony Fuller and James R. Green and Evan Shelhamer},
journal= {arXiv preprint arXiv:2602.02890},
year = {2026}
}
备注
code: https://github.com/antofuller/self_soupervision data: https://huggingface.co/datasets/antofuller/mini-VTAB