无偏锐度感知最小化
机器学习
2024-10-03 v3
摘要
锐度感知最小化（SAM）在改进深度神经网络训练方面发挥了重要作用，通过最小化训练损失和损失景观的锐度，使模型进入更平坦的最小值，这些最小值与更好的泛化性能相关。另一方面，模型无关性元学习（MAML）是一套旨在提高模型适应性的框架。MAML 优化一组特定针对多个任务进行最小微调步骤即可实现快速适应的 meta 模型，并能在有限数据下获得良好泛化。在本工作中，我们探讨了 SAM 与 MAML 之间的联系，以增强模型泛化。在引入 Agnostic-SAM 的新方法后，我们将 SAM 的核心思想适应到 MAML 中，通过训练数据优化模型以指向更宽广的局部最小值，同时保持在验证数据上的低损失值。如此一来，它寻求不仅对小扰动鲁棒，而且对数据分布迁移问题更不敏感的更平坦的最小值。我们的实验结果表明，Agnostic-SAM 在各种数据集上以及在噪声标签或数据有限等具有挑战性的情况下，显著优于基线方法实现更好的泛化。
引用
@article{arxiv.2406.07107,
title = {Agnostic Sharpness-Aware Minimization},
author = {Van-Anh Nguyen and Quyen Tran and Tuan Truong and Thanh-Toan Do and Dinh Phung and Trung Le},
journal= {arXiv preprint arXiv:2406.07107},
year = {2024}
}
备注
Under review