基于网络隐张量分解的增量式多域学习
计算机视觉与模式识别
2019-11-25 v2 人工智能
机器学习
摘要
深度学习的突出地位、大量标注数据以及日益强大的硬件，使得在有监督分类任务上达到令人瞩目的性能成为可能，且在许多情况下已饱和训练集。然而，由此得到的模型专用于单一非常特定的任务和领域。由于至少三个原因，将已学到的分类能力适配到新领域是一个难题：(1) 新领域和任务可能截然不同；(2) 新领域上的标注数据可能非常有限；(3) 由于深度CNN参数量巨大，为每个新任务完整训练新模型在计算和内存上代价高昂。本文提出一种增量式学习新领域和任务的方法，该方法建立在已学任务的先验知识之上，且不会发生灾难性遗忘。我们通过使用低秩Tucker结构跨层联合参数化权重来实现这一点。核心部分与任务无关，而一组任务特定因子在每个新领域上学习。我们表明，利用张量结构能够比单纯使用矩阵运算获得更好的性能。联合张量建模还自然地利用了不同层之间的相关性。与以往专注于分别适配每一层的方法相比，我们的方法为每个新任务/领域提供了更紧凑的表示。我们将所提方法应用于Visual Decathlon Challenge的10个数据集，并表明我们的方法平均减少约7.5倍的参数数量，且在分类准确率和Decathlon分数方面具有竞争力。
引用
@article{arxiv.1904.06345,
title = {Incremental multi-domain learning with network latent tensor factorization},
author = {Adrian Bulat and Jean Kossaifi and Georgios Tzimiropoulos and Maja Pantic},
journal= {arXiv preprint arXiv:1904.06345},
year = {2019}
}
备注
AAAI20