基于高维函数图分解的数据网络对抗方法

过去，针对网络中单个低维激活函数的研究导致内部协ariate漂移和梯度偏差问题。相对较小的研究领域是如何利用函数组合为单个激活函数应用提供属性完善。我们提出一种网络对抗方法以解决上述挑战。这一方法是首次在网络中使用不同的激活函数。基于当前网络中现有的激活函数，构建一个具有相反导数图像特性的对抗函数，然后交替使用这两种函数作为不同网络层的激活函数。对于复杂情况，提出一种高维函数图分解（HD-FGD）方法，将其划分为不同部分，然后经过线性层。通过整合每个分解项的逆导数，并参考分解过程的计算规则，我们获得其对抗函数。网络对抗方法或仅使用 HD-FGD 均可有效替代传统的 MLP+激活函数模式。通过上述方法，我们在训练效率和预测准确性方面均显著优于标准激活函数。该文解决了若干常见激活函数相关的对抗问题，提供可无缝集成到现有模型中且无任何副作用的替代方案。我们将在会议审稿完成后发布代码。