多跳机器阅读理解数据集与评测指标综合综述
计算与语言
2022-12-09 v1 机器学习
摘要
多跳机器阅读理解是一项具有挑战性的任务，旨在基于不同段落中分散的信息片段来回答问题。评测指标与数据集是多跳 MRC 的重要组成部分，因为没有它们就无法训练和评估模型；同时，数据集所提出的挑战往往也是改进现有模型的重要动力。鉴于该领域关注度的提升，详细回顾它们是必要且值得的。本研究旨在对多跳 MRC 评测指标与数据集的最新进展进行综合分析。为此，首先将给出多跳 MRC 的问题定义，然后基于其多跳特性对评测指标进行考察。此外，详细回顾了 2017 至 2022 年间的 15 个多跳数据集，并在文末给出了全面分析。最后，讨论了该领域的开放问题。
引用
@article{arxiv.2212.04070,
title = {A Comprehensive Survey on Multi-hop Machine Reading Comprehension Datasets and Metrics},
author = {Azade Mohammadi and Reza Ramezani and Ahmad Baraani},
journal= {arXiv preprint arXiv:2212.04070},
year = {2022}
}
备注
25 pages, 22 tables, 12 figures. This paper under review at Applied intelligence journal