Log-sum-exp 神经网络与广义 posynomial 模型用于凸及 log-log-凸数据
神经与进化计算
2020-03-09 v2
摘要
我们在本文中证明，一个内层具有指数激活函数、输出神经元具有对数激活函数的一层前馈神经网络是凸函数的通用逼近器。此类网络表示一类缩放的 log-sum-exp 函数，此处命名为 LSET。在合适的指数变换下，LSET 函数类映射到一个广义 posynomial 族 GPOST，我们类似地证明其为 log-log-凸函数的通用逼近器。LSET 网络的一个关键特征是，一旦它在数据上训练完成，所得模型在变量上是凸的，这使其易于基于凸优化进行有效设计。类似地，一旦 GPOST 模型在数据上训练完成，它产生一个 posynomial 模型，可通过几何规划（GP）针对其变量高效优化。所提方法由两个数值例子说明，其中首先由两种物理过程（即车辆悬架系统中的振动水平，以及丙烷燃烧产生的峰值功率）的仿真数据构建模型，然后在这些模型上执行基于优化的设计。
引用
@article{arxiv.1806.07850,
title = {Log-sum-exp neural networks and posynomial models for convex and log-log-convex data},
author = {Giuseppe C. Calafiore and Stephane Gaubert and Corrado Possieri},
journal= {arXiv preprint arXiv:1806.07850},
year = {2020}
}