神经网络中的格拉斯曼流形填充：以最大子空间填充学习实现多样性与抗稀疏性
机器学习
2019-11-19 v1 信息论
math.IT
机器学习
摘要
核稀疏（“死亡的 ReLU”）和缺乏多样性在 CNN 核中常见，这降低了模型容量。受信息论与无线通信的启发，我们通过 CNN 中的格拉斯曼子空间填充问题展示了编码理论与深度学习的结合。我们提出对初始核层采用格拉斯曼流形填充，使其基于弦距离或 Fubini-Study 距离以最大间隔初始化。以格拉斯曼流形填充初始化的卷积核展现出多样特征并获得多样化表示。我们表明，格拉斯曼流形填充（尤其在初始层）可解决核稀疏并鼓励多样性，同时在浅层与深层 CNN 中提升分类准确率并具有更好的收敛速度。
引用
@article{arxiv.1911.07418,
title = {Grassmannian Packings in Neural Networks: Learning with Maximal Subspace Packings for Diversity and Anti-Sparsity},
author = {Dian Ang Yap and Nicholas Roberts and Vinay Uday Prabhu},
journal= {arXiv preprint arXiv:1911.07418},
year = {2019}
}
备注
Presented at Bayesian Deep Learning and Workshop on Information Theory and Machine Learning, 33rd Conference on Neural Information ProcessingSystems (NeurIPS 2019), Vancouver, Canada