从微分拓扑视角看前馈神经网络学习中的挑战
机器学习
2018-11-27 v1 机器学习
摘要
在深度神经网络（DNNs）的诸多未解理论中，有三个最根本且亟需解决的挑战，即可表达性、可优化性和可泛化性。尽管利用信息瓶颈理论、稀疏表示、统计推断、黎曼几何等各种理论在寻求答案方面已取得显著进展，但迄今为止尚无单一理论能够同时为所有这些挑战提供解决方案。在本工作中，我们提出运用微分拓扑理论来解决这三个问题。通过将感兴趣的数据集建模为光滑流形，DNNs可被视为光滑流形之间光滑映射的复合。具体而言，我们的工作提供了DNNs损失景观的微分拓扑视角、可表达性中宽度与深度的相互作用，以及针对可泛化性的正则化。最后，在深度表示学习的设定下，我们进一步应用商拓扑来研究DNNs的架构，从而能够针对特定学习任务捕获数据中的干扰因素。
引用
@article{arxiv.1811.10304,
title = {A Differential Topological View of Challenges in Learning with Feedforward Neural Networks},
author = {Hao Shen},
journal= {arXiv preprint arXiv:1811.10304},
year = {2018}
}
备注
17 pages, 3 figures