一种用于估计 CNN 模型泛化性能的精确平坦度度量
星系天体物理
2026-03-11 v1
摘要
基于损失 Hessian 谱或迹的平坦度度量广泛用作深层网络泛化能力的代理指标。然而，大多数现有定义要么针对全连接架构设计，要么依赖 Hessian 迹的随机估计，要么忽略现代卷积神经网络（CNN）的特定几何结构。本文开发了一种对广泛且在实际中具有重要性的 CNN 类群既精确又具架构忠实性的平坦度度量。我们首先推导了以交叉熵损失相对于使用全局平均池化后接线性分类器的卷积核的 Hessian 迹的闭式表达式。基于此结果，我们进一步将相对平坦度概念特化于卷积层，获得一种能正确考虑卷积和池化所致的尺度对称性和滤波器相互作用的参数化感知平坦度度量。最后，我们在标准图像分类基准测试上对该度量进行了实证研究。结果表明，所提出的度量可作为评估和比较 CNN 模型泛化性能的稳健工具，以及指导架构和训练选择的实用工具。
引用
@article{arxiv.2603.09015,
title = {Winding, Unwinding, Rewinding the Gaia Phase Spiral},
author = {Neige Frankel and Marcin Semczuk and Teresa Antoja and Sukanya Chakrabarti and Rimpei Chiba and Robert Grand and Jason Hunt and Sergey khoperskov and Zhao-Yu Li and Artem Lutsenko and Pau Ramos and Kiyan Tavangar and Lawrence Widrow},
journal= {arXiv preprint arXiv:2603.09015},
year = {2026}
}
备注
8 pages, 1 figure, conference summary submitted to PASP