在具有模块注意力的循环神经网络中学习结合自顶向下与自底向上信号
机器学习
2020-11-17 v3 神经与进化计算
机器学习
摘要
鲁棒的感知依赖于自底向上与自顶向下信号。自底向上信号由通过感觉直接观察到的内容构成。自顶向下信号由基于过往经验与短时记忆的信念与预期构成，例如短语“peanut butter and~...”将如何补全。自底向上与自顶向下信息的最优组合仍是一个开放问题，但组合方式必须是动态的且依赖于上下文与任务。为有效利用大量可用的潜在自顶向下信息，并防止双向架构中混杂信号的交响，需要限制信息流的机制。我们探索深度循环神经网络架构，其中使用注意力动态结合自底向上与自顶向下信号。架构的模块化进一步限制了信息的共享与通信。注意力与模块化共同引导信息流，从而在感知与语言任务中带来可靠的性能提升，尤其提升了对干扰与噪声数据的鲁棒性。我们在语言建模、序列图像分类、视频预测与强化学习的多种基准上证明，双向信息流可改进强基线的结果。
引用
@article{arxiv.2006.16981,
title = {Learning to Combine Top-Down and Bottom-Up Signals in Recurrent Neural Networks with Attention over Modules},
author = {Sarthak Mittal and Alex Lamb and Anirudh Goyal and Vikram Voleti and Murray Shanahan and Guillaume Lajoie and Michael Mozer and Yoshua Bengio},
journal= {arXiv preprint arXiv:2006.16981},
year = {2020}
}
备注
ICML 2020