MetaXT：不同标签空间间的元跨任务迁移
机器学习
2021-09-10 v1 计算与语言
摘要
尽管预训练语言模型具有通用的表示能力，但将其适配到特定的自然语言处理任务上仍需要相当大量的标注数据。当任务仅有少量标注样本时，有效的任务微调面临挑战。本文旨在通过利用并迁移一个具有相关但不同标签空间的不同任务，来解决小样本任务学习问题。具体而言，我们设计了一个标签迁移网络，将源任务的标签转换为目标任务的标签以用于训练。标签迁移网络和任务预测模型均通过一个双层优化框架进行学习，我们称之为MetaXT。MetaXT为通过从源任务迁移知识来最佳适配预训练语言模型到目标任务提供了一种原则性的解决方案。在四个自然语言处理任务的跨任务迁移设置上，针对两种不同类型的标签空间差异进行的实证评估，证明了MetaXT的有效性，尤其是在目标任务标注数据有限的情况下。
引用
@article{arxiv.2109.04240,
title = {MetaXT: Meta Cross-Task Transfer between Disparate Label Spaces},
author = {Srinagesh Sharma and Guoqing Zheng and Ahmed Hassan Awadallah},
journal= {arXiv preprint arXiv:2109.04240},
year = {2021}
}