构建灵活感知的视觉记忆

训练神经网络是一个单一的工程，类似于将知识雕刻成石头：一旦过程完成，编辑网络中的知识就困难了，因为所有信息都分布在网络权重中。我们在此探索一种简单而有力的替代方案，通过将深度神经网络的表征能力与数据库的灵活性相结合。将图像分类任务分解为图像相似性（来自预训练嵌入）和通过快速最近邻检索从知识数据库中搜索，我们利用众所周知的组件构建一种简单且灵活的视觉记忆，其具有以下关键功能：（1）在不同尺度上灵活添加数据的能力：从单个样本到整个类别乃至十亿规模的数据；（2）通过不可知和记忆修剪删除数据的能力；（3）可干预控制其行为的可解释决策机制。综上，这些功能全面展示了显式视觉记忆的优势。我们希望这可能有助于关于深度视觉模型中知识应如何表示的讨论——超越将其雕刻在“石头”权重中。