重新审视 Mixout：通向鲁棒微调的被忽视路径
机器学习
2025-10-09 v1 计算机视觉与模式识别
摘要
微调视觉基础模型通常能提升域内准确率，但代价是在分布偏移下的鲁棒性下降。我们从单次运行、权重共享的隐式集成视角重新审视 Mixout——一种随机正则化方法，它间歇性地将微调后的权重替换为其预训练参考。这一视角揭示了控制鲁棒性的三个关键杠杆：\emph{掩码锚点}、\emph{重采样频率}和\emph{掩码稀疏度}。基于此分析，我们提出了 GMixout，其(i)将固定锚点替换为在训练过程中自适应的指数移动平均快照，(ii)通过显式的重采样频率超参数调节掩码周期。我们的稀疏核实现仅更新少量参数且无推理时开销，可在消费级 GPU 上训练。在涵盖协变量偏移、损坏和类别不平衡的基准数据集——ImageNet / ImageNet-LT、DomainNet、iWildCam 和 CIFAR100-C 上，GMixout 一致地在超越零样本性能的同时提升了域内准确率，并同时超越了 Model Soups 和强参数高效微调基线方法在分布偏移下的表现。
引用
@article{arxiv.2510.06982,
title = {Revisiting Mixout: An Overlooked Path to Robust Finetuning},
author = {Masih Aminbeidokhti and Heitor Rapela Medeiros and Eric Granger and Marco Pedersoli},
journal= {arXiv preprint arXiv:2510.06982},
year = {2025}
}