前馈 ReLU 网络插值解的通用框架

Changcun Huang

前馈 ReLU 网络插值解的通用框架

机器学习 2022-12-13 v5 数值分析数值分析

作者: Changcun Huang

摘要

本文就前馈 ReLU 网络的插值解提供了一个理论框架，基于所谓插值矩阵展开，该矩阵是对我们此前三项工作的总结、扩展与推广，期望工程中的解可被纳入此框架并最终得以理解。对三层网络，我们分类不同种类的解并以归一化形式建模；从数据、网络与训练三个维度研究解的寻找；解释了一类过参数化解的机制。对深层网络，我们给出称为稀疏矩阵原理的通用结果，可描述深层的一些基本行为并解释工程应用（与脑科学相关）中出现的稀疏激活现象；该原理彰显了深层相对于浅层的优势。作为应用，依该原理构造了深度神经网络用于分类的通用解；并运用该原理研究编码器的数据解耦性质。类比三层情形，深层解亦经多个维度探讨。从插值矩阵视角解释了多输出神经网络的机制。

关键词

前馈 ReLU 网络插值矩阵稀疏矩阵原理过参数化稀疏激活数据解耦多输出网络

引用

@article{arxiv.2208.07498,
  title  = {Universal Solutions of Feedforward ReLU Networks for Interpolations},
  author = {Changcun Huang},
  journal= {arXiv preprint arXiv:2208.07498},
  year   = {2022}
}

备注

v2:minor revision; v3-v4:proposition 5 revised; v5:theorem 10 refined

前馈 ReLU 网络插值解的通用框架

摘要

关键词

引用

备注

相关论文