机器学习、最深学习：统计数据同化问题
人工智能
2017-07-06 v1
摘要
我们阐述了机器学习、人工智能方法与物理和生物学中广泛使用的统计数据同化公式之间的强等价性。其对应关系是：人工网络设定中的层数类似于数据同化设定中的时间。在此等价性讨论中，我们表明增加更多层（使网络更深）类似于在数据同化框架中增加时间分辨率。讨论了如何利用数据同化中的方法在机器学习背景下寻找代价函数全局最小值的候选解。报告了来自等价性两侧简单模型的计算。还讨论了一种将时间或层标签视为连续的框架，它给出一个微分方程即欧拉-拉格朗日方程，表明所求解是变分方法讨论中熟悉的两点边值问题。连续层的使用被称为“最深学习”。这些问题在连续时间/层相空间中遵从辛对称性。给出了这些问题的拉格朗日版本和哈密顿版本。探讨了它们在离散时间/层中保持辛结构的成熟实现。哈密顿版本为反向传播作为正则动量的求解方法提供了直接依据。
引用
@article{arxiv.1707.01415,
title = {Machine Learning, Deepest Learning: Statistical Data Assimilation Problems},
author = {Henry Abarbanel and Paul Rozdeba and Sasha Shirman},
journal= {arXiv preprint arXiv:1707.01415},
year = {2017}
}