基于多元投影的广义激活
机器学习
2024-01-30 v2
摘要
激活函数对于向神经网络引入非线性至关重要，修正线性单元(Rectified Linear Unit, ReLU)因其简洁有效而常被青睐。受浅层前馈神经网络(FNN)与求解约束优化问题的标准方法——投影梯度下降(Projected Gradient Descent, PGD)算法单次迭代之间的结构相似性启发，我们将 ReLU 视为从 R 到非负半直线 R+ 的投影。基于该解释，我们通过将 ReLU 替换为到凸锥（如二阶锥(Second-Order Cone, SOC)投影）上的广义投影算子对其进行推广，从而自然地将其扩展为多元投影单元(Multivariate Projection Unit, MPU)——一种具有多输入多输出的激活函数。我们进一步给出数学证明：由 SOC 投影激活的 FNN 在表达能力上优于使用 ReLU 的 FNN。在广泛采用的架构上的实验评估进一步证实了 MPU 相对于更广泛现有激活函数的有效性。
引用
@article{arxiv.2309.17194,
title = {Generalized Activation via Multivariate Projection},
author = {Jiayun Li and Yuxiao Cheng and Yiwen Lu and Zhuofan Xia and Yilin Mo and Gao Huang},
journal= {arXiv preprint arXiv:2309.17194},
year = {2024}
}