张量卷积神经网络的统一权重初始化范式
机器学习
2022-07-26 v2 人工智能
摘要
张量卷积神经网络（TCNNs）因其在减少模型参数或增强泛化能力方面的优势而吸引了大量研究关注。然而，TCNNs的探索甚至受限于权重初始化方法。具体而言，通用初始化方法（如Xavier或Kaiming初始化）通常无法为TCNNs生成合适的权重。同时，尽管存在针对特定架构（如Tensor Ring Nets）的临时方法，它们并不适用于采用其他张量分解方法（如CP或Tucker分解）的TCNNs。为解决此问题，我们提出了一种通用权重初始化范式，它推广了Xavier和Kaiming方法，并可广泛适用于任意TCNNs。具体地，我们首先提出复现变换（Reproducing Transformation）将TCNNs中的反向过程转换为等价的卷积过程。然后，基于前向与反向过程中的卷积算子，我们构建统一范式以控制TCNNs中特征与梯度的方差。由此，我们可以导出多种TCNNs的fan-in与fan-out初始化。我们证明我们的范式能稳定TCNNs的训练，带来更快收敛与更优结果。
引用
@article{arxiv.2205.15307,
title = {A Unified Weight Initialization Paradigm for Tensorial Convolutional Neural Networks},
author = {Yu Pan and Zeyong Su and Ao Liu and Jingquan Wang and Nannan Li and Zenglin Xu},
journal= {arXiv preprint arXiv:2205.15307},
year = {2022}
}
备注
Accepted in ICML 2022