通过优化损失景观寻求一致平坦极小以实现更好的域泛化
计算机视觉与模式识别
2025-04-15 v2 人工智能
摘要
域泛化旨在从多个训练域学习模型并泛化到未见过的测试域。近期理论表明，寻找参数位于损失景观平坦极小处的深度模型可以显著降低域外泛化误差。然而，现有方法往往忽略了不同域中损失景观的一致性，导致模型并非同时在所有域中处于最优平坦极小，从而限制了其泛化能力。为解决这一问题，本文提出了一种迭代自反馈训练（SFT）框架，通过在训练过程中逐步优化损失景观，来寻求跨域共享的一致平坦极小。它交替生成反馈信号（通过测量不同域中损失景观的不一致性），并利用该反馈信号优化这些损失景观以增强一致性。得益于这些优化后损失景观中平坦极小的一致性，我们的SFT有助于实现更好的域外泛化。在DomainBed上的大量实验表明，与最先进的锐度感知方法及其他主流域泛化基线相比，SFT性能优越。在五个域泛化基准测试中，平均而言，SFT在ResNet-50上超越锐度感知最小化2.6%，在ViT-B/16上超越1.5%。代码即将公开。
引用
@article{arxiv.2412.13573,
title = {Seeking Consistent Flat Minima for Better Domain Generalization via Refining Loss Landscapes},
author = {Aodi Li and Liansheng Zhuang and Xiao Long and Minghong Yao and Shafei Wang},
journal= {arXiv preprint arXiv:2412.13573},
year = {2025}
}