面向多数据集问答的单数据集专家
计算与语言
2021-09-29 v1
摘要
目前已经创建了大量用于训练阅读理解模型的数据集，一个自然的问题是，我们能否将它们结合起来构建出（1）在所有训练数据集上表现更好，且（2）对新数据集具有更好泛化和迁移能力的模型。先前的工作通过在多个数据集上同时训练一个网络来实现这一目标，该方法平均表现良好，但容易对不同子分布过拟合或欠拟合，并且与目标数据集重叠更多的源模型相比，其迁移效果可能更差。我们的方法是使用一组单数据集专家来建模多数据集问答，通过训练一组共享底层 Transformer 模型的轻量级、特定数据集的适配器模块（Houlsby et al., 2019）来实现。我们发现，这些多适配器数据集专家（MADE）在分布内准确率方面优于我们所有的基线模型，并且基于参数平均的简单方法带来了更好的零样本泛化和少样本迁移性能，为构建新的阅读理解系统提供了一个强大且通用的起点。
引用
@article{arxiv.2109.13880,
title = {Single-dataset Experts for Multi-dataset Question Answering},
author = {Dan Friedman and Ben Dodge and Danqi Chen},
journal= {arXiv preprint arXiv:2109.13880},
year = {2021}
}
备注
EMNLP 2021. The code is available at https://github.com/princeton-nlp/MADE