用于求解微分方程的神经网络学习到通用表征
机器学习
2018-07-03 v1 机器学习
计算物理
摘要
我们引入一种基于奇异向量典型相关分析（SVCCA）的技术，用于度量神经网络各层在一组连续参数化任务上的通用性。我们通过对基于泊松偏微分方程求解参数化边值问题的神经网络进行研究，阐明了该方法。我们发现第一个隐藏层是通用的，而更深的层依次更具特异性。接下来，我们使用一种已有的、基于迁移学习实验度量层通用性的技术来验证我们的方法。我们发现两种方法高度一致，并注意到我们的方法快得多，特别是对于连续参数化问题。最后，我们将第一层的通用表征可视化，并将其解释为输入域上的广义坐标。
引用
@article{arxiv.1807.00042,
title = {Neural Networks Trained to Solve Differential Equations Learn General Representations},
author = {Martin Magill and Faisal Qureshi and Hendrick W. de Haan},
journal= {arXiv preprint arXiv:1807.00042},
year = {2018}
}
备注
14 pages, 9 figures. Submitted to NIPS 2018