超活跃与低活跃神经元剪枝在无监督自适应中选择性更新神经元的研究与分析
机器学习
2020-01-08 v1 声音
音频与语音处理
机器学习
摘要
未见过的或域外数据会严重降低神经网络模型的性能，表明模型未能泛化到未见数据。神经网络剪枝不仅有助于减小模型规模，还能提升模型的泛化能力。剪枝方法寻找对模型决策贡献较小的低显著神经元，从而可从模型中移除。本工作研究剪枝方法是否能成功检测出高显著（多数活跃或超活跃）或低显著（几乎不活跃或低活跃）的神经元，以及移除此类神经元是否有助于改善模型的泛化能力。传统的盲自适应技术更新整个或若干层子集，但从未探索跨一层或多层选择性更新单个神经元。聚焦于卷积神经网络（CNN）的全连接层，本工作表明可先选择性自适应某些神经元（由超活跃与低活跃神经元组成），再进行全网络微调。利用自动语音识别任务，本工作展示了从模型中移除超活跃与低活跃神经元如何改善模型在域外语音数据上的性能，以及选择性神经元自适应相比传统盲模型自适应如何确保性能提升。
引用
@article{arxiv.2001.01755,
title = {Investigation and Analysis of Hyper and Hypo neuron pruning to selectively update neurons during Unsupervised Adaptation},
author = {Vikramjit Mitra and Horacio Franco},
journal= {arXiv preprint arXiv:2001.01755},
year = {2020}
}
备注
DSP, 29 pages, 8 figures