一条规则胜万千：深度网络中关键学习时段的识别
机器学习
2025-11-11 v1
摘要
关键学习时段涉及深度学习中的重要现象，即早期历元在许多训练配方（如数据增强）成功中的决定性作用。现有研究确认了这一现象并提供了有用见解。然而，文献缺乏精确识别关键时段何时发生的努力。本文通过引入一种系统方法来识别深度神经网络训练中的关键时段，专注于消除计算密集型正则化技术，并有效应用数据修剪等降低计算成本的机制。我们的方法利用泛化预测机制确定训练配方对模型预测能力提供最大益处的关键阶段。在这些时段之后停止资源密集型配方，我们显著加速了学习阶段，并实现了训练时间、能源消耗和二氧化碳排放的显著减少。在标准架构和基准测试上的实验确认了我们方法的有效性。具体而言，我们通过将流行架构的训练时间缩短最高可达 59.67%，实现了 59.47% 的二氧化碳排放减少和 60% 的经济成本降低，同时不损害性能。我们的工作增进了对训练动力学的理解，为更可持续和高效的深度学习实践铺平了道路，特别是在资源受限的环境中。在基础模型竞赛的时代，我们相信我们的方法将作为一个宝贵的框架。仓库地址为 https://github.com/baunilhamarga/critical-periods
引用
@article{arxiv.2506.15954,
title = {One Period to Rule Them All: Identifying Critical Learning Periods in Deep Networks},
author = {Vinicius Yuiti Fukase and Heitor Gama and Barbara Bueno and Lucas Libanio and Anna Helena Reali Costa and Artur Jordao},
journal= {arXiv preprint arXiv:2506.15954},
year = {2025}
}