I2I：以即兴知识初始化适配器
计算与语言
2023-07-12 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
适配器为解决持续学习中的灾难性遗忘问题提供了有前景的方案。然而，为每个新任务训练独立的Adapter模块错失了跨任务知识迁移的机会。我们提出Improvise to Initialize（I2I），一种持续学习算法，通过从已学任务的Adapter中蒸馏知识来为到来任务的Adapter进行初始化。我们在多模态持续学习基准CLiMB上，通过对视觉问答任务序列的实验评估I2I。采用I2I训练的Adapter始终比独立训练的Adapter取得更好的任务准确率，表明我们的算法促进了任务Adapter间的知识迁移。I2I也比最先进的AdapterFusion带来更好的跨任务知识迁移，且未产生相应的参数代价。
引用
@article{arxiv.2304.02168,
title = {I2I: Initializing Adapters with Improvised Knowledge},
author = {Tejas Srinivasan and Furong Jia and Mohammad Rostami and Jesse Thomason},
journal= {arXiv preprint arXiv:2304.02168},
year = {2023}
}
备注
Accepted at 2nd Conference on Lifelong Learning Agents (CoLLAs), 2023