基于样例的超网络用于分布外泛化
计算与语言
2023-10-20 v3 人工智能
机器学习
摘要
尽管自然语言处理（NLP）算法不断取得新的里程碑，分布外泛化仍是一项重大挑战。本文研究了针对未知领域的多源自适应问题：我们利用来自多个源领域的标注数据，在训练时泛化到未知目标领域。我们的创新框架采用基于样例的超网络（Hypernetwork）自适应：首先由 T5 编码器-解码器从输入样例生成独特签名，将其嵌入源领域的语义空间中；随后该签名被超网络用于生成任务分类器的权重。我们在情感分类和自然语言推理两项任务上的 29 种自适应场景中评估了该方法，其表现优于已有算法。在一个进阶版本中，该签名还丰富了输入样例的表示。我们还将微调后的架构与少样本 GPT-3 进行比较，展示了其在关键用例中的有效性。据我们所知，这是超网络在未知领域自适应中的首次应用。
引用
@article{arxiv.2203.14276,
title = {Example-based Hypernetworks for Out-of-Distribution Generalization},
author = {Tomer Volk and Eyal Ben-David and Ohad Amosy and Gal Chechik and Roi Reichart},
journal= {arXiv preprint arXiv:2203.14276},
year = {2023}
}
备注
First two authors contributed equally to this work. Our code and data are available at: https://github.com/TomerVolk/Hyper-PADA