面向阅读理解的自监督测试时学习
计算与语言
2021-03-23 v1 机器学习
摘要
近期关于无监督问答的研究表明，模型可以通过程序化生成的问题-答案对进行训练，并达到与有监督方法相竞争的性能。在这项工作中，我们考虑无监督阅读理解任务，并提出一种在给定上下文（文本段落）上执行“测试时学习”（test-time learning, TTL）的方法，无需在包含上下文-问题-答案三元组的大规模人工标注数据集上训练。该方法直接在单个测试上下文上操作，使用自监督在合成生成的问题-答案对上训练模型，然后推断该上下文未见的人工撰写问题的答案。我们的方法取得了与全监督方法相竞争的准确性，并显著优于当前的无监督方法。采用较小模型的TTL方法也与当前无监督阅读理解中的最优方法相竞争。
引用
@article{arxiv.2103.11263,
title = {Self-Supervised Test-Time Learning for Reading Comprehension},
author = {Pratyay Banerjee and Tejas Gokhale and Chitta Baral},
journal= {arXiv preprint arXiv:2103.11263},
year = {2021}
}
备注
Accepted to NAACL 2021