RATT：面向持续图像描述中瞬态任务的循环注意力机制
计算机视觉与模式识别
2020-10-30 v2 机器学习
摘要
持续学习的研究已产生多种缓解前馈分类网络灾难性遗忘的方法。迄今为止，针对应用于图像描述等问题的循环模型的持续学习关注甚少。本文系统地考察了基于 LSTM 的图像描述模型的持续学习。我们提出一种基于注意力的方法，明确适应持续图像描述任务中词汇的瞬态特性——即任务词汇并非互不相交。我们称该方法为瞬态任务循环注意力（RATT），并展示了如何将基于权重正则化和知识蒸馏的持续学习方法适配于循环持续学习问题。我们将所提方法应用于使用 MS-COCO 和 Flickr30 数据集定义的两个新持续学习基准上的增量图像描述问题。结果表明，RATT 能够顺序学习五个描述任务，且不会对先前学习任务产生遗忘。
引用
@article{arxiv.2007.06271,
title = {RATT: Recurrent Attention to Transient Tasks for Continual Image Captioning},
author = {Riccardo Del Chiaro and Bartłomiej Twardowski and Andrew D. Bagdanov and Joost van de Weijer},
journal= {arXiv preprint arXiv:2007.06271},
year = {2020}
}
备注
9 pages, 4 figures, 8 supplementary pages, 12 supplementary images, to be published in NeurIPS 2020