利用循环神经模块学习层次化信息流
机器学习
2017-11-07 v2 人工智能
摘要
我们提出 ThalNet，一种受新皮层通过丘脑通信启发而来的深度学习模型。我们的模型由循环神经模块组成，这些模块通过路由中心发送特征，赋予模块在多个时间步上共享特征的灵活性。我们表明，我们的模型学习以层次化方式路由信息，通过模块链处理输入数据。我们观察到常见架构，例如前馈神经网络和跳跃连接，作为我们架构的特例出现，而对于 text8 压缩任务则学习到了新颖的连接模式。我们的模型在多个序列基准测试上优于标准循环神经网络。
引用
@article{arxiv.1706.05744,
title = {Learning Hierarchical Information Flow with Recurrent Neural Modules},
author = {Danijar Hafner and Alex Irpan and James Davidson and Nicolas Heess},
journal= {arXiv preprint arXiv:1706.05744},
year = {2017}
}
备注
NIPS 2017