深度网络作为记忆空间：复杂性、泛化、解耦表示与可解释性
机器学习
2019-07-16 v1 人工智能
摘要
通过桥接深度网络与物理学，深度网络几何化纲领被提出作为深度学习系统可解释性的框架。遵循该纲领，我们可以将物理学的两个关键思想——物理几何化与最小作用量原理——应用于深度网络，并给出深度网络的新图景：深度网络作为信息的记忆空间，其中记忆的容量、鲁棒性与效率同深度网络的复杂性、泛化与解耦密切相关。这一理解的关键组成部分包括：（1）基于Fisher度量的网络复杂性表述；（2）深度网络上的最小作用量（复杂性=作用量）原理；（3）构建于深度网络构型上的几何。我们将展示这一图景如何为我们带来对深度学习系统可解释性的新理解。
引用
@article{arxiv.1907.06572,
title = {Deep network as memory space: complexity, generalization, disentangled representation and interpretability},
author = {X. Dong and L. Zhou},
journal= {arXiv preprint arXiv:1907.06572},
year = {2019}
}
备注
11 pages, 2 figures