神经网络导数的外积结构
机器学习
2018-10-10 v1 机器学习
摘要
在本文中，我们表明前馈与循环神经网络呈现出外积导数结构，而卷积神经网络则没有。该结构使得利用高阶信息成为可能，且无需近似或耗费不可行的大量内存，并可能提供对神经网络最优解几何的洞察。易于访问这些导数的能力也提示了一种新的、几何化的正则化方法。我们随后讨论了该结构如何被用于改进训练方法、增强网络的鲁棒性与泛化能力，并为网络压缩方法提供信息。
引用
@article{arxiv.1810.03798,
title = {The Outer Product Structure of Neural Network Derivatives},
author = {Craig Bakker and Michael J. Henry and Nathan O. Hodas},
journal= {arXiv preprint arXiv:1810.03798},
year = {2018}
}