从具归纳偏置的深度学习中发掘符号模型
机器学习
2020-11-19 v2 宇宙学与河外天体物理
天体物理仪器与方法
计算物理
机器学习
摘要
我们开发了一种通过引入强归纳偏置来提炼所学深度模型符号表示的通用方法。我们聚焦于图神经网络(GNNs)。该技术工作如下：我们首先在监督设置下训练GNN时鼓励稀疏潜表示，然后对我们的学习模型各分量应用符号回归以提取显式物理关系。我们发现可以从神经网络中提取出正确的已知方程，包括力定律与哈密顿量。我们随后将方法应用于一个非平凡的宇宙学例子——一个详细的暗物质模拟——并发现了一个新的解析公式，可根据邻近宇宙结构的质量分布预测暗物质集中度。使用我们的技术从GNN提取的符号表达式也比GNN本身更好地泛化到分布外数据。我们的方法为解释神经网络和从其学习的表示中发现新物理原理提供了另类方向。
引用
@article{arxiv.2006.11287,
title = {Discovering Symbolic Models from Deep Learning with Inductive Biases},
author = {Miles Cranmer and Alvaro Sanchez-Gonzalez and Peter Battaglia and Rui Xu and Kyle Cranmer and David Spergel and Shirley Ho},
journal= {arXiv preprint arXiv:2006.11287},
year = {2020}
}
备注
Accepted to NeurIPS 2020. 9 pages content + 16 pages appendix/references. Supporting code found at https://github.com/MilesCranmer/symbolic_deep_learning