控制复杂度与Lipschitz常数改进多项式网络
机器学习
2022-02-11 v1
摘要
虽然多项式网络类表现出与神经网络(NN)相当的性能，但目前它既没有理论上的泛化特性描述，也没有鲁棒性保证。为此，我们针对多项式网络的耦合CP分解(CCP)和嵌套耦合CP分解(NCP)模型，推导了关于-算子范数和-算子范数的新复杂度界。此外，我们推导了两种模型的Lipschitz常数界，为其鲁棒性建立了理论证明。这些理论结果使我们能够提出一种有原则的正则化方案，我们还在六个数据集上进行了实验评估，并表明该方案提高了模型的准确性以及对对抗扰动的鲁棒性。我们展示了这种正则化如何与对抗训练相结合，从而带来进一步的改进。
引用
@article{arxiv.2202.05068,
title = {Controlling the Complexity and Lipschitz Constant improves polynomial nets},
author = {Zhenyu Zhu and Fabian Latorre and Grigorios G Chrysos and Volkan Cevher},
journal= {arXiv preprint arXiv:2202.05068},
year = {2022}
}