神经网络中的拓扑感知激活函数

本研究探讨了新型激活函数，以增强神经网络在训练期间操纵数据拓扑的能力。基于传统激活函数(如$\mathrm{ReLU}$)的局限性，我们提出了$\mathrm{SmoothSplit}$和$\mathrm{ParametricSplit}$，它们引入了拓扑“切割”功能。这些函数使网络能够有效地转换复杂的数据流形，在数据维度较低的层中表现出更好的性能。通过在合成数据集和真实数据集上的实验，我们展示了$\mathrm{ParametricSplit}$在低维设置下优于传统激活函数，而在高维设置中保持竞争性能。我们的发现凸显了拓扑感知激活函数在推动神经网络架构发展中的潜力。代码已通过https://github.com/Snopoff/Topology-Aware-Activations提供。