PADA：基于样例的提示学习用于 unseen 领域的即时自适应
计算与语言
2022-01-28 v4 人工智能
机器学习
摘要
自然语言处理算法取得了令人难以置信的进展，但在应用于分布外样例时仍面临困难。我们解决了这一领域自适应问题中一个具有挑战性且未被充分探索的版本：算法在多个源领域上训练，然后应用于训练时未知的、来自未见领域的样例。特别地，在训练时，算法无法获得目标领域的任何样例（无论有标注还是无标注）或关于目标领域的任何其他知识。我们提出 PADA：一种基于 T5 语言模型的、基于样例的自回归提示学习算法，用于即时任意领域自适应（on-the-fly Any-Domain Adaptation）。给定一个测试样例，PADA 首先为其生成唯一的提示，然后以该提示为条件，针对 NLP 预测任务对该样例进行标注。PADA 被训练为生成一个长度不受限制的 token 序列提示，该提示由表征各个源领域的领域相关特征（Domain Related Features, DRFs）组成。直观地说，生成的提示是一个唯一的签名，将测试样例映射到由源领域所张成的语义空间中。在 3 项任务（文本分类与序列标注）共 14 种多源自适应场景的实验中，PADA 大幅优于强基线方法。
引用
@article{arxiv.2102.12206,
title = {PADA: Example-based Prompt Learning for on-the-fly Adaptation to Unseen Domains},
author = {Eyal Ben-David and Nadav Oved and Roi Reichart},
journal= {arXiv preprint arXiv:2102.12206},
year = {2022}
}
备注
Accepted for publication at TACL in January 2022. First two authors contributed equally to this work. Our code and data are available at: https://github.com/eyalbd2/PADA