面向混合任务持续学习的子网络发现与软掩码
计算与语言
2023-10-17 v1 人工智能
机器学习
神经与进化计算
摘要
持续学习（CL）有两个主要目标：防止灾难性遗忘（CF）与促进知识迁移（KT）。现有文献主要聚焦于克服 CF。当任务相似时，也有一些关于 KT 的工作。据我们所知，仅有一种方法被提出用于学习混合任务的序列。然而，这些技术仍受困于 CF 和/或有限的 KT。本文提出一种新的 CL 方法以同时实现两者。它通过为每个任务发现一个子网络来隔离其知识，从而克服 CF。还提出了一种软掩码机制以保留先前知识，并使新任务能够利用过去知识实现 KT。使用分类、生成、信息抽取及其混合（即异构任务）的实验表明，所提方法持续优于强基线。
引用
@article{arxiv.2310.09436,
title = {Sub-network Discovery and Soft-masking for Continual Learning of Mixed Tasks},
author = {Zixuan Ke and Bing Liu and Wenhan Xiong and Asli Celikyilmaz and Haoran Li},
journal= {arXiv preprint arXiv:2310.09436},
year = {2023}
}
备注
https://github.com/ZixuanKe/PyContinual