基于图常微分方程的架构感知学习曲线外推
机器学习
2025-01-22 v3 人工智能
机器学习
摘要
学习曲线外推通过早期训练轮次预测神经网络性能，已被应用于加速 AutoML，促进超参数调优和神经架构搜索。然而，现有方法通常孤立地对学习曲线的演化进行建模，忽略了神经网络架构的影响，而这些架构会影响损失景观和学习轨迹。在本工作中，我们探讨了引入神经网络架构是否能改善学习曲线建模，以及如何有效地整合这种架构信息。受优化的动力系统视角启发，我们提出了一种新颖的架构感知神经微分方程模型，以连续地预测学习曲线。我们通过实验证明了其捕捉波动学习曲线总体趋势的能力，同时通过变分参数量化了不确定性。对于基于 MLP 和 CNN 的学习曲线，我们的模型优于当前最先进的学习曲线外推方法和纯时间序列建模方法。此外，我们还探索了该方法在神经架构搜索场景中的适用性，例如训练配置排序。
引用
@article{arxiv.2412.15554,
title = {Architecture-Aware Learning Curve Extrapolation via Graph Ordinary Differential Equation},
author = {Yanna Ding and Zijie Huang and Xiao Shou and Yihang Guo and Yizhou Sun and Jianxi Gao},
journal= {arXiv preprint arXiv:2412.15554},
year = {2025}
}
备注
Accepted to AAAI'25