超网络的原则性权重初始化
机器学习
2023-12-15 v1
摘要
超网络是一种元神经网络，能以端到端可微的方式为主神经网络生成权重。尽管其应用范围广泛，从多任务学习到贝叶斯深度学习，但超网络的优化问题至今尚未得到研究。我们观察到，当直接将Glorot & Bengio (2010) 和 He et al. (2015) 等经典权重初始化方法应用于超网络时，无法为主网络生成正确尺度的权重。我们为超网络开发了原则性的权重初始化技术，并证明这些技术能带来更稳定的主网络权重、更低的训练损失和更快的收敛速度。
引用
@article{arxiv.2312.08399,
title = {Principled Weight Initialization for Hypernetworks},
author = {Oscar Chang and Lampros Flokas and Hod Lipson},
journal= {arXiv preprint arXiv:2312.08399},
year = {2023}
}