论二次网络的表达能力与可训练性
机器学习
2023-09-12 v3 计算机视觉与模式识别
神经与进化计算
摘要
受生物神经元多样性的启发，二次人工神经元可在深度学习模型中发挥重要作用。我们关注的这类二次神经元将传统神经元中的内积运算替换为二次函数。尽管由二次神经元组成的网络迄今取得了有前景的结果，但一些重要问题尚未得到很好解决。在理论上，二次网络相对于传统网络或通过二次激活的传统网络所具有的优越表达能力尚未被充分阐明，这使得二次网络的使用缺乏充分依据。在实践上，尽管二次网络可通过通用反向传播进行训练，但其面临比传统对应网络更高的崩溃风险。为解决这些问题，我们首先应用样条理论和代数几何中的一种测度，给出两个定理，证明二次网络比带或不带二次激活的传统对应网络具有更好的模型表达能力。然后，我们提出一种称为ReLinear的有效训练策略来稳定二次网络的训练过程，从而释放其在相关机器学习任务中的全部潜力。我们在流行数据集上进行了全面实验以支持我们的发现并确认二次深度学习的性能。我们已在\url{https://github.com/FengleiFan/ReLinear}分享了代码。
引用
@article{arxiv.2110.06081,
title = {On Expressivity and Trainability of Quadratic Networks},
author = {Feng-Lei Fan and Mengzhou Li and Fei Wang and Rongjie Lai and Ge Wang},
journal= {arXiv preprint arXiv:2110.06081},
year = {2023}
}