变换低秩参数化可助张量神经网络实现鲁棒泛化
机器学习
2023-12-21 v3 人工智能
摘要
实现高效且鲁棒的多通道数据学习是数据科学中的一项挑战性任务。通过利用变换域中的低秩性（即变换低秩性），张量奇异值分解（t-SVD）在多通道数据表示中取得广泛成功，并近期被拓展至函数表示，如带t积层的神经网络（t-NNs）。然而，t-SVD如何影响t-NNs的学习行为在理论上仍不清楚。本文首次通过推导标准与对抗训练t-NNs泛化误差的上界来回答该问题。研究表明，由精确变换低秩参数化压缩的t-NNs可获得更紧的对抗泛化界。实践中，尽管t-NNs鲜有精确变换低秩权重，我们的分析进一步表明在特定条件下，通过梯度流（GF）对抗训练，带ReLU激活的过参数化t-NNs会以隐式正则化趋向变换低秩参数化。我们也建立了具近似变换低秩权重t-NNs的对抗泛化界。分析表明变换低秩参数化有望增强t-NNs的鲁棒泛化。
引用
@article{arxiv.2303.00196,
title = {Transformed Low-Rank Parameterization Can Help Robust Generalization for Tensor Neural Networks},
author = {Andong Wang and Chao Li and Mingyuan Bai and Zhong Jin and Guoxu Zhou and Qibin Zhao},
journal= {arXiv preprint arXiv:2303.00196},
year = {2023}
}
备注
51 pages, presented on NeurIPS 2023