PHYDI：将参数化超复数神经网络初始化为恒等函数
机器学习
2023-10-12 v1 人工智能
新兴技术
摘要
基于超复数代数系统的神经模型正不断增多并广泛应用于从计算机视觉到自然语言处理的众多领域。随着其被采用，参数化超复数神经网络（PHNNs）的规模日益增长，而迄今尚无技术在大尺度上控制其收敛性。本文研究 PHNNs 的收敛性，并提出参数化超复数恒等初始化（PHYDI），一种在不同尺度下改善其收敛性的方法，当层数增加时带来更鲁棒的性能，同时以更少迭代次数达到相同性能。我们在不同基准以及基于 ResNets 和 Transformer 架构的常用 PHNNs 上展示了该方法的有效性。代码见 https://github.com/ispamm/PHYDI。
引用
@article{arxiv.2310.07612,
title = {PHYDI: Initializing Parameterized Hypercomplex Neural Networks as Identity Functions},
author = {Matteo Mancanelli and Eleonora Grassucci and Aurelio Uncini and Danilo Comminiello},
journal= {arXiv preprint arXiv:2310.07612},
year = {2023}
}
备注
Accepted at IEEE MLSP 2023 (Honorable Mention TOP 5% Outstanding Papers)