通过理解所学来供给所需
计算与语言
2022-03-08 v1
摘要
机器阅读理解（Machine Reading Comprehension, MRC）揭示了理解给定文本段落并据此回答问题的能力。MRC 的现有研究工作严重依赖大尺寸模型和语料库来提升由精确匹配（Exact Match, ）和 等指标评估的性能。然而，这种范式缺乏对模型能力的充分解释，且无法利用大规模语料库高效训练模型。在本文中，我们认为，深度理解模型能力与数据属性可帮助我们依据模型的学习状态为其提供恰当的训练数据。具体而言，我们设计了一个以可解释、多维方式评估模型能力的 MRC 能力评估框架。基于此，我们进一步揭示并解耦了各类数据属性与模型性能之间的联系。最后，为验证所提 MRC 能力评估框架的有效性，我们将其纳入课程学习流程，并设计了能力边界突破课程（Capability Boundary Breakthrough Curriculum, CBBC）策略，该策略执行基于模型能力的训练以最大化数据价值并提升训练效率。大量实验表明，我们的方法显著提升了性能，在 MRC 任务上实现了最高 11.22% / 8.71% 的 / 提升。
引用
@article{arxiv.2203.02753,
title = {Feeding What You Need by Understanding What You Learned},
author = {Xiaoqiang Wang and Bang Liu and Fangli Xu and Bo Long and Siliang Tang and Lingfei Wu},
journal= {arXiv preprint arXiv:2203.02753},
year = {2022}
}
备注
Accepted by ACL 2022