用于大型语音模型高效多任务适配的分层循环适配器

参数高效适配方法已成为为下游任务训练大型预训练模型的关键机制。然而，当需要适配的下游任务数量很大时，其单任务参数开销仍然被认为很高。我们引入了一种在大规模多任务适配场景中具有更好效率的适配器模块。我们的适配器在适配器参数分配方式上是分层的。该适配器由一个共享的控制器网络和多个任务级适配器头组成，在不降低下游任务性能的情况下减少了单任务参数开销。该适配器还是循环的，因此整个适配器参数在预训练模型的不同层之间被重用。在自动语音识别任务上的评估表明，我们的分层循环适配器（HRA）在单任务和多任务适配设置中均优于先前基于适配器的方法以及全模型微调基线。