稀疏性在自然语言神经语言模型中自然涌现
计算与语言
2019-08-07 v1 机器学习
机器学习
摘要
出于对可解释性、计算资源以及原则性归纳先验的关切，研究者致力于为 NLP 任务设计稀疏神经模型。如果稀疏性对 NLP 十分重要，那么训练良好的神经模型是否会自然变得大致稀疏？我们使用 Taxi-Euclidean 范数来度量稀疏性，发现高频输入词与集中或稀疏的激活相关，而高频目标词与分散的激活但集中的梯度相关。我们发现，即使在控制词频的情况下，与功能词相关的梯度也比内容词的梯度更为集中。
引用
@article{arxiv.1908.01817,
title = {Sparsity Emerges Naturally in Neural Language Models},
author = {Naomi Saphra and Adam Lopez},
journal= {arXiv preprint arXiv:1908.01817},
year = {2019}
}
备注
Published in the ICML 2019 Workshop on Identifying and Understanding Deep Learning Phenomena: https://openreview.net/forum?id=H1ets1h56E