SmartMixed：适用于神经网络中自适应激活函数学习的两种相位训练策略
机器学习
2025-11-03 v2 人工智能
摘要
激活函数的选择在神经网络中发挥关键作用，但大多数体系结构仍依赖于跨所有神经元统一、固定的激活函数。我们引入 SmartMixed，一种两种相位的训练策略，使网络能够在保持推理计算效率的同时学习每个神经元的最优激活函数。在第一个相位中，神经元通过可微硬混合机制从一组候选激活函数（ReLU、Sigmoid、Tanh、Leaky ReLU、ELU、SELU）中自适应选择。在第二个相位中，根据所学选择在每个神经元上固定其激活函数， resulting in 一个计算高效、支持继续训练的网络，采用优化的矢量化运算。我们在 MNIST 数据集上使用深度不同的 feedforward 神经网络评估了 SmartMixed。分析显示，不同层的神经元对激活函数具有不同的偏好，为理解神经体系结构中的功能多样性提供了见解。
引用
@article{arxiv.2510.22450,
title = {SmartMixed: A Two-Phase Training Strategy for Adaptive Activation Function Learning in Neural Networks},
author = {Amin Omidvar},
journal= {arXiv preprint arXiv:2510.22450},
year = {2025}
}