基于多任务目标修剪预训练编码器
计算与语言
2021-12-13 v1 机器学习
摘要
预训练语言模型的规模使得在存在多个期望下游任务时,其使用具有挑战性且成本高昂。在这项工作中,我们采用近期在微调期间进行模型修剪的策略,来探究是否可能修剪单个编码器使其可用于多个任务。我们分配固定的参数预算,并将使用多任务目标修剪单个模型与最佳的单任务模型集成进行比较。我们发现,在两种修剪策略(逐元素修剪和秩修剪)下,采用多任务目标的方法在所有任务上的平均表现优于分别训练模型,并且在每个单独任务上也具有竞争力。额外的分析发现,在修剪期间使用多任务目标也可以作为降低低资源任务模型尺寸的有效方法。
引用
@article{arxiv.2112.05705,
title = {Pruning Pretrained Encoders with a Multitask Objective},
author = {Patrick Xia and Richard Shin},
journal= {arXiv preprint arXiv:2112.05705},
year = {2021}
}
备注
ENLSP NeurIPS 2021