用于机器学习的可训练复合激活函数
机器学习
2022-04-28 v1
摘要
激活函数（AF）是神经网络中允许函数逼近的必要组成部分，但目前使用的 AF 通常是简单的单调递增函数。在本文中，我们提出了由平移和缩放的简单 AF 之和组成的可训练复合 AF（TCA）。与增加层数相比，TCA 能以更少的参数提高网络的有效性。TCA 在生成网络中具有特殊的解释，因为它们使用混合分布有效地估计数据每个维度的边缘分布，从而减少了模态性并使线性降维更加有效。当用于受限玻尔兹曼机（RBM）时，它们产生了一种具有基于混合的随机单元的新型 RBM。在使用 RBM、深度信念网络（DBN）、投影信念网络（PBN）和变分自编码器（VAE）的实验中，证明了性能的提升。
引用
@article{arxiv.2204.12920,
title = {Trainable Compound Activation Functions for Machine Learning},
author = {Paul M. Baggenstoss},
journal= {arXiv preprint arXiv:2204.12920},
year = {2022}
}