利用偏向竞争消除灾难性干扰
计算机视觉与模式识别
2020-07-07 v1 机器学习
摘要
我们在此提出一种模型，通过偏置网络中的竞争性相互作用，以端到端方式学习分离复杂数据集的多任务性质中的任务与子任务，从而利用其多任务特性。该方法不需要数据集中额外的标注或数据重格式化。我们对多任务问题的一体型单任务适配学习提出一种替代视角，并基于 Desimone 提出的来自神经科学的神经元注意理论描述了一个模型。我们基于 MNIST 数据集创建并展示了一个新的玩具数据集，称为 MNIST-QA，用于在低维环境中测试视觉问答架构，同时保留视觉问答任务中较困难的组成部分，并在该新数据集以及 COCO-QA 和 DAQUAR-FULL 上演示所提出的网络架构。我们随后证明该模型在新创建的玩具数据集上消除了任务间的灾难性干扰，并在视觉问答领域提供了有竞争力的结果。我们进一步提供证据表明视觉问答可被视为多任务问题，并证明这种基于偏向竞争模型的新架构能够端到端地学习分离并学习任务，而无需任务标签。
引用
@article{arxiv.2007.02833,
title = {Eliminating Catastrophic Interference with Biased Competition},
author = {Amelia Elizabeth Pollard and Jonathan L. Shapiro},
journal= {arXiv preprint arXiv:2007.02833},
year = {2020}
}