一种受生物启发的深度网络视觉工作记忆
计算机视觉与模式识别
2019-01-14 v1 机器学习
机器学习
摘要
通过一系列姿态调整的瞥见多次观察的能力是人类视觉的基础。这一关键能力使我们能够理解高度复杂的视觉场景。短期记忆在聚合这些瞥见所获得的信息并指导我们对场景的解释方面发挥着不可或缺的作用。计算模型已尝试解决瞥见与视觉注意力问题，但未能纳入记忆的概念。我们引入了一种新颖的、受生物启发的视觉工作记忆架构，称之为 Hebb-Rosenblatt 记忆。我们随后引入了一个完全可微的短期注意力工作记忆模型（STAWM），该模型使用变换注意力对其所看到的每张图像学习一个记忆。我们的 Hebb-Rosenblatt 记忆的状态作为权重空间嵌入在 STAWM 的一层中。通过将不同的查询投影通过该层，我们可以获得面向目标的潜在表示，用于包括分类和视觉重建在内的任务。我们的模型在 MNIST 和 CIFAR-10 上取得了极具竞争力的分类性能。如通过 CelebA 数据集所展示的，为执行重建，模型学习对画布进行一系列更新，这些更新构成了基于部件的表示。使用从 MNIST 获得的自监督表示进行分类，被证明与最先进的模型（均不使用视觉注意力机制）相当。最后，我们展示了 STAWM 可以在分类和重建的双重约束下训练，提供一个可解释的视觉画板，有助于打开深度学习的“黑箱”。
引用
@article{arxiv.1901.03665,
title = {A Biologically Inspired Visual Working Memory for Deep Networks},
author = {Ethan Harris and Mahesan Niranjan and Jonathon Hare},
journal= {arXiv preprint arXiv:1901.03665},
year = {2019}
}