PETScML：用于科学机器学习中回归问题训练的二阶求解器
机器学习
2024-03-20 v1 数学软件
最优化与控制
摘要
近年来，我们见证了科学机器学习作为一种数据驱动工具的出现，它通过深度学习技术分析计算科学与工程应用产生的数据。这些方法的核心是用于学习神经网络实现的监督训练算法，这是一个高度非凸的优化问题，通常使用随机梯度方法求解。然而，与深度学习实践不同，科学机器学习训练问题具有更大体量的平滑数据和对经验风险函数更好的刻画，这使得它们适合使用常规的无约束优化求解器。我们引入了一个轻量级软件框架，该框架构建于可移植可扩展科学计算工具包（PETSc）之上，旨在弥合深度学习软件与常规无约束最小化求解器之间的差距。我们通过实验证明，基于高斯-牛顿近似的信赖域方法在广泛的科学机器学习技术和测试案例中学习代理模型时，能有效改善回归任务产生的泛化误差。所有测试的常规二阶求解器，包括 L-BFGS 和带有线搜索的不精确牛顿法，在成本或精度方面均优于用于验证代理模型的自适应一阶方法。
引用
@article{arxiv.2403.12188,
title = {PETScML: Second-order solvers for training regression problems in Scientific Machine Learning},
author = {Stefano Zampini and Umberto Zerbinati and George Turkiyyah and David Keyes},
journal= {arXiv preprint arXiv:2403.12188},
year = {2024}
}