含Hadamard积神经网络的外推与谱偏置：一项多项式网络研究
机器学习
2022-10-18 v2 人工智能
摘要
神经正切核(NTK)是分析神经网络训练动态及其泛化界的有力工具。对NTK的研究已致力于典型神经网络架构，但对含Hadamard积神经网络(NNs-Hp)(如StyleGAN与多项式神经网络(PNNs))尚不完整。本工作中，我们推导了一类特殊NNs-Hp即多项式神经网络的有限宽度NTK形式。我们证明其等价于带关联NTK的核回归预测器，拓展了NTK的应用范围。基于我们的结果，我们阐明了PNNs相对于标准神经网络在外推与谱偏置上的分离。两个关键见解是：与标准神经网络相比，PNNs在外推区间可拟合更复杂的函数，且对应NTK的特征值衰减更慢，从而更快学习高频函数。此外，我们的理论结果可推广至其他类型NNs-Hp，扩展了工作的适用范围。实证结果在更广类别NNs-Hp上验证了上述分离，为深入理解神经架构提供了良好依据。
引用
@article{arxiv.2209.07736,
title = {Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study},
author = {Yongtao Wu and Zhenyu Zhu and Fanghui Liu and Grigorios G Chrysos and Volkan Cevher},
journal= {arXiv preprint arXiv:2209.07736},
year = {2022}
}