用于机器推理的组合式注意力网络
人工智能
2018-04-25 v2
摘要
我们提出 MAC 网络，一种新颖的全可微神经网络架构，旨在促进显式且富有表达力的推理。MAC 脱离单一黑盒神经网络架构，转向一种鼓励透明性与通用性的设计。该模型通过将问题分解为一系列基于注意力的推理步骤来处理问题，每一步由一个新颖的循环记忆、注意与组合（MAC）单元执行，该单元保持控制与记忆的分离。通过将各单元串联并施加调节其交互的结构约束，MAC 以端到端方式有效地学习执行直接从数据推断出的迭代推理过程。我们在具有挑战性的视觉推理数据集 CLEVR 上展示了模型的强度、鲁棒性与可解释性，达到了新的最优 98.9% 准确率，将先前最佳模型的错误率减半。更重要的是，我们表明该模型计算高效且数据高效，特别是所需数据比现有模型少 5 倍即可取得强劲结果。
引用
@article{arxiv.1803.03067,
title = {Compositional Attention Networks for Machine Reasoning},
author = {Drew A. Hudson and Christopher D. Manning},
journal= {arXiv preprint arXiv:1803.03067},
year = {2018}
}
备注
Published as a conference paper at ICLR 2018