学习引力定律及其他解析函数
机器学习
2020-05-19 v1 机器学习
摘要
大型神经网络模型已成功学习了科学诸多分支（包括物理学、化学和生物学）中重要的函数。近期的理论工作已给出某些简单函数类上宽网络与核方法的显式学习界，但未涉及实践中出现的更复杂函数。我们扩展这些技术，为球面上的解析函数提供针对任意核方法或等效无限宽网络（具有相应激活函数并使用 SGD 训练）的学习界。我们证明，宽单层 ReLU 网络能够以与某相关函数导数成比例的样本数学习解析函数。因此，科学中许多重要函数可高效学习。作为示例，我们给出关于由牛顿引力定律给出的多体引力函数的显式学习界。我们的理论界表明，与高斯核的核学习相比，极宽 ReLU 网络（及相应的 NTK 核）更擅长学习解析函数。我们给出实验证据，表明多体引力函数用 ReLU 网络比用指数激活网络更易学习。
引用
@article{arxiv.2005.07724,
title = {Learning the gravitational force law and other analytic functions},
author = {Atish Agarwala and Abhimanyu Das and Rina Panigrahy and Qiuyi Zhang},
journal= {arXiv preprint arXiv:2005.07724},
year = {2020}
}