训练早期阶段影响分布外泛化的适应性：一项实证研究
机器学习
2025-01-07 v2
摘要
先前的研究表明，神经网络训练早期的差异会显著影响任务分布内 (ID) 数据的性能。然而，早期学习动态对分布外 (OOD) 泛化的影响仍然知之甚少，这主要是由于现有分析技术的复杂性和局限性。在这项工作中，我们研究了学习动态、协变量偏移下的 OOD 泛化与神经网络训练早期阶段之间的关系。我们利用 Fisher 信息的迹和锐度，并专注于逐步解冻（即在训练过程中逐步解冻参数）作为我们的研究方法。通过一系列实证实验，我们表明：1) 在训练早期通过逐步解冻改变可训练参数的数量可以显著改善 OOD 结果；2) Fisher 信息的迹和锐度可以作为指标，用于在训练早期移除逐步解冻以获得更好的 OOD 泛化。我们在图像和文本数据上的实验表明，训练早期阶段是一个普遍现象，可以以最小的复杂度提供 ID 和 OOD 性能的帕累托改进。我们的工作代表了理解早期学习动态如何影响协变量偏移下神经网络 OOD 泛化的第一步，并为改进和研究此问题提出了新途径。
引用
@article{arxiv.2403.15210,
title = {Early Period of Training Impacts Adaptation for Out-of-Distribution Generalization: An Empirical Study},
author = {Chen Cecilia Liu and Iryna Gurevych},
journal= {arXiv preprint arXiv:2403.15210},
year = {2025}
}
备注
WIP