elBERto：面向问答的自监督常识学习
计算与语言
2022-10-05 v2
摘要
常识问答需要对日常情境以及上下文中隐含的因果进行推理。通常，现有方法先检索外部证据，然后利用这些证据进行常识推理。本文提出一种常识自监督双向编码器表示学习（elBERto）框架，其与现成可用的QA模型架构兼容。该框架包含五个自监督任务，以迫使模型充分利用富含常识的上下文中的额外训练信号。这些任务包括一个新颖的对比关系学习任务以鼓励模型区分逻辑上对比的上下文，一个新的拼图任务要求模型推断长上下文中的逻辑链，以及三个经典SSL任务以维持预训练模型的语言编码能力。在具代表性的WIQA、CosmosQA和ReClor数据集上，elBERto优于所有其他方法，包括那些利用显式图推理和外部知识检索的方法。此外，elBERto在段落外和无效问题上取得显著提升，而简单的词法相似度比较无济于事，表明其成功学习了常识并能在给定动态上下文时加以利用。
引用
@article{arxiv.2203.09424,
title = {elBERto: Self-supervised Commonsense Learning for Question Answering},
author = {Xunlin Zhan and Yuan Li and Xiao Dong and Xiaodan Liang and Zhiting Hu and Lawrence Carin},
journal= {arXiv preprint arXiv:2203.09424},
year = {2022}
}