Mad Max：深度学习的仿射样条洞察

Randall Balestriero; Richard Baraniuk

Mad Max：深度学习的仿射样条洞察

机器学习 2018-11-13 v5 机器学习

作者: Randall Balestriero , Richard Baraniuk

摘要

我们通过样条函数和算子，在深度网络 (DNs) 与逼近论之间建立了一座严谨的桥梁。我们的关键结论是，一大类 DNs 可以写成最大仿射样条算子 (MASOs) 的复合，这为观察和分析其内在机制提供了强有力的入口。例如，在输入信号条件下，MASO DN 的输出可写为输入的一个简单仿射变换。这意味着 DN 构造了一组依赖于信号、特定于类别的模板，信号通过这些模板以简单内积方式进行比较；我们探讨了其与基于匹配滤波器的最优分类经典理论以及数据记忆效应的联系。进一步，我们提出了一个简单的惩罚项，可添加到任何 DN 学习算法的代价函数中，以强制模板彼此正交；这在不改变 DN 架构的情况下显著提升了分类性能并减少了过拟合。由 MASO 隐式诱导的输入信号空间样条划分，直接将 DNs 与向量量化 (VQ) 和 $K$ -均值聚类理论联系起来，这为研究 DNs 如何以层次化方式组织信号开辟了新的几何途径。为验证 VQ 解释的有效性，我们开发并验证了一种用于信号和图像的新距离度量，该度量量化了它们的 VQ 编码之间的差异。（本文是 ICML 2018 上《A Spline Theory of Deep Learning》的大幅扩展版。）

关键词

深度网络最大仿射样条算子逼近论匹配滤波器向量量化 K-均值聚类正交模板

引用

@article{arxiv.1805.06576,
  title  = {Mad Max: Affine Spline Insights into Deep Learning},
  author = {Randall Balestriero and Richard Baraniuk},
  journal= {arXiv preprint arXiv:1805.06576},
  year   = {2018}
}

Mad Max：深度学习的仿射样条洞察

摘要

关键词

引用

相关论文