Fisher SAM：信息几何与锐度感知最小化
机器学习
2022-06-13 v1
摘要
近期的锐度感知最小化(SAM)已知能找到平坦极小值，有利于更好的泛化与增强的鲁棒性。SAM本质上通过报告当前迭代点附近小邻域内的最大损失值来修改损失函数。然而它使用欧氏球定义邻域，这可能不准确，因为神经网络的损失函数通常定义在概率分布（如类别预测概率）上，使参数空间非欧氏。本文在定义邻域时考虑模型参数空间的信息几何，即用Fisher信息诱导的椭球替换SAM的欧氏球。我们的方法称为Fisher SAM，定义了更符合底层统计流形内在度量的更精确邻域结构。例如，SAM可能因忽略参数空间几何而探测到过近或不恰当远处点的最坏情况损失值，这被我们的Fisher SAM避免。另一近期Adaptive SAM方法依据参数量级伸缩欧氏球，这可能危险，潜在破坏邻域结构。我们在若干基准数据集/任务上展示了所提Fisher SAM的改进性能。
引用
@article{arxiv.2206.04920,
title = {Fisher SAM: Information Geometry and Sharpness Aware Minimisation},
author = {Minyoung Kim and Da Li and Shell Xu Hu and Timothy M. Hospedales},
journal= {arXiv preprint arXiv:2206.04920},
year = {2022}
}