面向稀疏实验数据预测建模的自适应激活函数

神经网络设计中的一个关键方面在于选择激活函数，这对于引入能够捕捉复杂输入-输出模式的非线性结构至关重要。虽然自适应或可训练激活函数的有效性已在数据充足的领域（如图像分类问题）中得到研究，但在理解它们对数据有限场景下分类准确率和预测不确定性的影响方面，仍然存在显著空白。本研究旨在通过研究两种自适应激活函数的使用来填补这些空白。这些函数在每个隐藏层中融入共享和独立的可训练参数，并在三个源自增材制造问题、包含少于一百个训练实例的测试平台上进行了检验。我们的研究表明，具有独立可训练参数的自适应激活函数，如指数线性单元和 Softplus，能够产生准确且置信度高的预测模型，其性能优于固定形状的激活函数以及在隐藏层中使用相同可训练激活函数的灵活性较低的方法。因此，这项工作为在科学和工程问题中促进自适应神经网络的设计提供了一种优雅的方式。