真实世界神经网络的链图解释
机器学习
2020-10-07 v2 机器学习
摘要
过去十年见证了深度学习研究与应用的蓬勃发展,其在多个领域取得了最先进的结果。然而,大多数进展是经验性地确立的,其理论分析仍然缺乏。一个主要问题在于,我们当前将神经网络(NNs)解释为函数逼近器过于笼统,无法支撑深入分析。本文通过提出一种替代性解释来弥补这一点,该解释将神经网络识别为链图(CGs),并将前馈视为一种近似推断过程。链图解释在概率图模型的丰富理论框架内明确了每个神经网络组件的性质,同时又足够通用以覆盖具有任意深度、多分支与多样激活函数的真实世界神经网络,以及包括卷积/循环层、残差块和dropout在内的常见结构。我们通过具体示例表明,链图解释可为各种神经网络技术提供新颖的理论支持与见解,并推导出新的深度学习方法,例如部分坍缩前馈推断的概念。因此,它是一个有前景的框架,深化了我们对神经网络的理解,并为未来的深度学习研究提供了连贯的理论表述。
引用
@article{arxiv.2006.16856,
title = {A Chain Graph Interpretation of Real-World Neural Networks},
author = {Yuesong Shen and Daniel Cremers},
journal= {arXiv preprint arXiv:2006.16856},
year = {2020}
}