Hcore-Init：基于图退化性的神经网络初始化
机器学习
2022-09-12 v2 机器学习
摘要
神经网络是人工智能的巅峰，近年来我们见证了诸多用于深度学习的新型架构、学习与优化技术。鉴于神经网络本质上构成了神经元层之间的多部图，我们旨在直接分析其结构以提取能够改进学习过程的有意义信息。据我们所知，用于增强神经网络学习的图挖掘技术尚未得到深入研究。本文提出了一种针对从深度学习架构中提取的完整加权多部图的 k-core 结构的适配版本。由于多部图是二部图的组合，而二部图又是超图的关联图，我们设计了 k-hypercore 分解，即 k-core 退化性的超图类比。我们将 k-hypercore 应用于多种神经网络架构，更具体地说，在极短预训练后将其用于图像识别任务的卷积神经网络和多层感知机。随后我们利用神经元超核数提供的信息重新初始化神经网络的权重，从而对梯度优化方案施加偏置。大量实验证明，k-hypercore 优于最先进的初始化方法。
引用
@article{arxiv.2004.07636,
title = {Hcore-Init: Neural Network Initialization based on Graph Degeneracy},
author = {Stratis Limnios and George Dasoulas and Dimitrios M. Thilikos and Michalis Vazirgiannis},
journal= {arXiv preprint arXiv:2004.07636},
year = {2022}
}