理解循环神经网络中的特征选择与特征记忆
机器学习
2019-03-05 v1 机器学习
摘要
在本文中，我们提出了一种称为 Flagged-1-Bit (F1B) 测试的测试方法，以研究循环神经网络在序列学习中的内在能力。使用该测试对四种不同的循环网络模型进行了分析和实验研究。我们的结果表明，在序列学习中，特征选择和特征记忆之间通常存在冲突。这种冲突可以通过使用如 LSTM 中的门控机制，或者通过增加如 Vanilla RNN 中的状态维度来解决。门控模型通过自适应调整其状态更新方程来解决这一冲突，而 Vanilla RNN 则通过为不同维度分配不同任务来解决这一冲突。本文给出了关于循环网络中特征选择和记忆的见解。
引用
@article{arxiv.1903.00906,
title = {Understanding Feature Selection and Feature Memorization in Recurrent Neural Networks},
author = {Bokang Zhu and Richong Zhang and Dingkun Long and Yongyi Mao},
journal= {arXiv preprint arXiv:1903.00906},
year = {2019}
}