对数-和-指数神经网络之差的通用逼近结果
神经与进化计算
2019-05-22 v1 机器学习
摘要
我们证明，一个神经网络若其输出由两个前馈网络的输出之差给出，且这两个前馈网络在隐藏层采用指数激活函数、在输出节点采用对数激活函数（LSE 网络），则该网络是凸紧集上连续函数的光滑通用逼近器。通过对数变换，这类网络映射为一族无减广义正多项式之比，我们也证明其为正象限中对数凸紧子集上正函数的通用逼近器。相较于经典前馈神经网络，Difference-LSE 网络的主要优势在于：经过标准训练阶段后，它们为设计提供具有特定凸函数之差形式的代理模型，从而可通过相对高效的数值方法进行优化。特别地，通过将现有的凸函数之差算法适配于这些模型，我们获得了一种基于优化的有效设计算法。我们将所提方法应用于 2 型糖尿病患者饮食的数据驱动设计以说明之。
引用
@article{arxiv.1905.08503,
title = {A Universal Approximation Result for Difference of log-sum-exp Neural Networks},
author = {Giuseppe C. Calafiore and Stephane Gaubert and Member and Corrado Possieri},
journal= {arXiv preprint arXiv:1905.08503},
year = {2019}
}