软升-降法：一种稳定且灵活的 flooding 替代方案
机器学习
2024-10-23 v2 机器学习
摘要
作为提升分类测试精度的启发式方法，Ishida 等人（2020）提出的“flooding”方法在训练时设定平均替代损失阈值：高于阈值时照常进行梯度下降，低于阈值时则切换为梯度上升。尽管阈值设定并非易事且通常借助验证数据，这一简单技术在精度方面已被证明异常有效。另一方面，若我们还关注测试时的模型复杂度或平均替代损失等其他指标呢？为以更少微调实现更好的整体性能，我们提出一种称为 SoftAD（软升-降法）的软化逐点机制，其降低边界点的权重、限制离群值影响，并保留 flooding 的升-降效应，且无额外计算开销。我们对比了 SoftAD 与 flooding 的形式平稳性保证，并实证展示 SoftAD 如何实现与 flooding（及更昂贵的替代方案 SAM）相竞争的分类精度，同时享有小得多的损失泛化差距与模型范数。
引用
@article{arxiv.2310.10006,
title = {Soft ascent-descent as a stable and flexible alternative to flooding},
author = {Matthew J. Holland and Kosuke Nakatani},
journal= {arXiv preprint arXiv:2310.10006},
year = {2024}
}
备注
Revised version accepted to NeurIPS 2024