MultiCQA：自监督文本匹配模型的大规模零样本迁移
计算与语言
2020-10-05 v1 信息检索
摘要
我们研究了文本匹配模型在大规模下的零样本迁移能力，通过对来自英语社区问答论坛的 140 个源域进行自监督训练。我们在九个答案选择与问题相似度任务的基准上考察了模型表现，表明所有 140 个模型均具有令人惊讶的良好迁移能力，其中绝大多数模型大幅优于常见信息检索基线。我们还证明，考虑广泛的源域选择对于获得最佳零样本迁移性能至关重要，这与仅依赖最大且最相似域的标准做法形成对比。此外，我们深入研究了如何最佳地组合多个源域，提出在所有可用源域上结合自监督与有监督多任务学习。我们最佳的零样本迁移模型在六个基准上大幅优于领域内 BERT 及先前最优方法。使用领域内数据微调我们的模型带来额外的大幅提升，并在全部九个基准上达到新的最优水平。
引用
@article{arxiv.2010.00980,
title = {MultiCQA: Zero-Shot Transfer of Self-Supervised Text Matching Models on a Massive Scale},
author = {Andreas Rücklé and Jonas Pfeiffer and Iryna Gurevych},
journal= {arXiv preprint arXiv:2010.00980},
year = {2020}
}
备注
EMNLP-2020