深度ReLU神经网络矩阵-向量积近似的误差界
机器学习
2021-11-29 v1 机器学习
摘要
在人工智能（AI）或机器学习（ML）的诸多范式中，深度学习是一个极为成功的范式。人们期望通过对深度学习理论的基础研究来解释深度学习的非凡成就。相应地，深度学习的应用研究也激发了深度学习理论在深度和广度上的发展。受这些发展的启发，我们提出以下根本性问题：我们能否使用深度整流线性单元（ReLU）前馈神经网络（FNN）精确逼近任意矩阵-向量积？如果可以，我们能否界定由此产生的近似误差？针对这些问题，我们推导了包含勒贝格范数和索博列夫范数的误差界，这些误差界构成了我们所发展的深度近似理论。在该理论的指导下，我们成功训练了深度ReLU FNN，其测试结果验证了我们所发展的理论。鉴于新兴的师生AI或ML范式对于解决无线通信与信号处理、网络科学与图信号处理、网络神经科学与脑物理学中的若干AI或ML问题至关重要，所发展的理论也可用于指导和简化教师深度ReLU FNN的训练。
引用
@article{arxiv.2111.12963,
title = {Error Bounds for a Matrix-Vector Product Approximation with Deep ReLU Neural Networks},
author = {Tilahun M. Getu},
journal= {arXiv preprint arXiv:2111.12963},
year = {2021}
}