ReasonBERT：通过远程监督预训练以具备推理能力
计算与语言
2021-09-13 v1 人工智能
机器学习
摘要
我们提出了 ReasonBert，一种增强语言模型对长程关系及多个、可能混合的上下文进行推理能力的预训练方法。与仅从自然文本的局部上下文中获取学习信号的现有预训练方法不同，我们提出了一种广义的远程监督概念，自动连接多个文本片段和表格，以创建需要长程推理的预训练示例。模拟了不同类型的推理，包括交叉多个证据片段、从一个证据片段桥接到另一个证据片段，以及检测不可回答的情况。我们对各种抽取式问答数据集进行了全面评估，这些数据集涵盖从单跳到多跳、从纯文本到纯表格再到混合类型，需要各种推理能力，并表明 ReasonBert 在一系列强基线模型上取得了显著改进。少样本实验进一步证明，我们的预训练方法大幅提高了样本效率。
引用
@article{arxiv.2109.04912,
title = {ReasonBERT: Pre-trained to Reason with Distant Supervision},
author = {Xiang Deng and Yu Su and Alyssa Lees and You Wu and Cong Yu and Huan Sun},
journal= {arXiv preprint arXiv:2109.04912},
year = {2021}
}
备注
Accepted to EMNLP'2021. Our code and pre-trained models are available at https://github.com/sunlab-osu/ReasonBERT