仅利用局部即时信用分配学习远端因果关系
机器学习
2021-08-19 v3 机器学习
摘要
我们提出了一种递归神经网络记忆，它使用稀疏编码来创建对序列输入的 combinatoric 编码。通过若干示例，我们展示了该网络能够在离散随机过程中关联远端因果、预测部分可观测的高阶序列，并通过提供记忆使 DQN 智能体能够导航迷宫。该网络仅使用生物学上合理的、局部且即时的信用分配。记忆需求通常比现有的 LSTM、GRU 和自回归前馈序列学习模型低一个数量级。该记忆最显著的局限是对未见过输入序列的泛化能力。我们通过测量 Penn Treebank 数据集上的下一词预测困惑度来探究这一局限。
引用
@article{arxiv.1905.11589,
title = {Learning distant cause and effect using only local and immediate credit assignment},
author = {David Rawlinson and Abdelrahman Ahmed and Gideon Kowadlo},
journal= {arXiv preprint arXiv:1905.11589},
year = {2021}
}
备注
Accepted by the 2021 International Joint Conference on Neural Networks (IJCNN 2021)