面向 NLP 持续学习的 HOP：跨任务与跨域迁移
计算与语言
2024-02-29 v1 人工智能
机器学习
摘要
持续学习 (CL) 旨在通过迁移先前问题中获取的知识来学习一系列问题（即任务和域），同时避免对过去任务的遗忘。与之前专注于特定用例中单一 NLP 任务或域的不同方法相比，本文提出更通用的 CL 设置，以单一框架学习一系列问题。我们的方法 HOP 通过三个方向实现跨任务和跨域的灵活性：(i) 我们采用一组适配器 (adapters) 来将大型预训练模型泛化到未见问题；(ii) 我们计算嵌入表示分布的高阶矩，以区分不同任务和域中的独立与相关统计；(iii) 我们使用针对每个最终问题的专用辅助头处理此丰富信息。在 4 个 NLP 应用、5 个基准测试和 2 个 CL 设置上进行了大量实验，结果表明 HOP 的有效性。
引用
@article{arxiv.2402.18449,
title = {HOP to the Next Tasks and Domains for Continual Learning in NLP},
author = {Umberto Michieli and Mete Ozay},
journal= {arXiv preprint arXiv:2402.18449},
year = {2024}
}
备注
AAAI 2024. Main + supplmentary