$\mathcal{Y}$-Tuning：一种基于标签表示学习的大规模预训练模型高效调优范式
计算与语言
2023-01-10 v2 机器学习
摘要
随着大规模预训练模型（PTMs）的成功，如何高效地将 PTMs 适配到下游任务引起了极大关注，尤其是针对拥有数十亿参数的 PTMs。尽管已提出一些参数高效调优范式来解决该问题，它们在训练阶段仍需要大量资源来计算梯度。本文提出 -Tuning，一种高效且有效的范式，用于将冻结的大规模 PTMs 适配到特定下游任务。-Tuning 为给定任务中定义的标签 学习稠密表示，并将其与固定特征表示对齐。在不调优输入文本特征与模型参数的情况下，-Tuning 兼具参数高效与训练高效。对于具有 16 亿参数的 ，-Tuning2\%96\%$ 的性能。
引用
@article{arxiv.2202.09817,
title = {$\mathcal{Y}$-Tuning: An Efficient Tuning Paradigm for Large-Scale Pre-Trained Models via Label Representation Learning},
author = {Yitao Liu and Chenxin An and Xipeng Qiu},
journal= {arXiv preprint arXiv:2202.09817},
year = {2023}
}