梯度-权重对齐：分类任务中的训练时通用性代理
机器学习
2025-10-30 v1
摘要
稳健的验证指标在当代深度学习中至关重要, 不仅用于检测过拟合和差异的通用性, 还用于监控训练动力学。在监督分类设置下, 我们研究训练数据与模型权重之间的相互作用是否可产生此类指标, 以在训练期间跟踪通用性并归因于单个训练样本。我们引入梯度-权重对齐 (GWA), 通过量化每个样本的梯度与模型权重之间的一致性来实现。我们证明, 有效学习对应于一致的对齐, 而不一致则表明通用性恶化。GWA 在训练期间可以高效计算, 并反映样本特定的贡献以及数据范围的学习动力学。广泛的实验表明, GWA 能准确预测最佳的早期停止点, 实现原则性的模型比较, 并识别有影响力的训练样本, 为来自训练数据的无验证集方法进行模型分析。
引用
@article{arxiv.2510.25480,
title = {Gradient-Weight Alignment as a Train-Time Proxy for Generalization in Classification Tasks},
author = {Florian A. Hölzl and Daniel Rueckert and Georgios Kaissis},
journal= {arXiv preprint arXiv:2510.25480},
year = {2025}
}
备注
39th Conference on Neural Information Processing Systems (NeurIPS 2025)