多样性网络：基于行列式点过程的神经网络压缩
机器学习
2017-04-20 v6 神经与进化计算
摘要
我们介绍Divnet，一种学习具有多样性神经元的网络的灵活技术。Divnet通过在给定层中的神经元上放置行列式点过程(DPP)来建模神经元多样性。它使用该DPP选择一组多样性神经元子集，随后将冗余神经元融合到所选神经元中。与先前方法相比，Divnet提供了一种更原则性、灵活的捕获神经元多样性的技术，从而隐式地实施正则化。这使得网络架构能够有效自动调优，并在不损害性能的情况下减小网络规模。此外，通过关注多样性和神经元融合，Divnet保持与其他旨在减少网络内存占用的过程兼容。我们呈现实验结果以证实我们的主张：对于神经网络剪枝，Divnet被证明明显优于竞争方法。
引用
@article{arxiv.1511.05077,
title = {Diversity Networks: Neural Network Compression Using Determinantal Point Processes},
author = {Zelda Mariet and Suvrit Sra},
journal= {arXiv preprint arXiv:1511.05077},
year = {2017}
}
备注
This paper appeared under the shorter title Diversity Networks at ICLR 2016 (http://www.iclr.cc/doku.php?id=iclr2016:main#accepted_papers_conference_track)