面向零样本问答的任务迁移与领域自适应
计算与语言
2022-06-15 v1 机器学习
摘要
预训练语言模型已在自然语言处理的多个领域展现出成功，包括阅读理解任务。然而，当将机器学习方法应用于新领域时，标注数据未必总可获得。为此，我们在源领域数据上进行有监督预训练，以降低领域特定下游任务的样本复杂度。我们通过将任务迁移与领域自适应相结合，在无需目标任务标注数据的情况下微调预训练模型，从而评估模型在领域特定阅读理解任务上的零样本性能。我们的方法在 4 个领域中的 3 个上优于领域自适应预训练（Domain-Adaptive Pretraining）在下游领域特定阅读理解任务上的表现。
引用
@article{arxiv.2206.06705,
title = {Task Transfer and Domain Adaptation for Zero-Shot Question Answering},
author = {Xiang Pan and Alex Sheng and David Shimshoni and Aditya Singhal and Sara Rosenthal and Avirup Sil},
journal= {arXiv preprint arXiv:2206.06705},
year = {2022}
}
备注
NAACL 2022 Deep Learning for Low-Resource NLP Workshop Paper