勿过度解读：面向开放域问答的自适应计算
计算与语言
2020-11-12 v1 人工智能
机器学习
摘要
大多数开放域问答方法由一个轻量级检索器（选取一组候选段落）和一个计算代价高昂的阅读器（检查段落以识别正确答案）组成。先前的研究表明，随着检索段落数量的增加，阅读器的性能也会提升。然而，它们假设所有检索到的段落同等重要，并为它们分配相同的计算量，导致计算成本大幅增加。为降低该成本，我们提出使用自适应计算来控制分配给待读段落的计算预算。我们首先引入一种在孤立个体段落上操作的技术，其依赖于随时预测（anytime prediction）和每层早退概率的估计。随后我们提出 SkylineBuilder，一种基于通过强化学习训练的资源分配策略、在每一步动态决定为哪个段落分配计算的方法。我们在 SQuAD-Open 上的结果表明，具有全局优先级的自适应计算优于多种强静态与自适应方法，在保留完整模型 95% 性能的同时将计算量降低了 4.3 倍。
引用
@article{arxiv.2011.05435,
title = {Don't Read Too Much into It: Adaptive Computation for Open-Domain Question Answering},
author = {Yuxiang Wu and Sebastian Riedel and Pasquale Minervini and Pontus Stenetorp},
journal= {arXiv preprint arXiv:2011.05435},
year = {2020}
}
备注
11 pages, 9 figures, presented in EMNLP 2020 main conference and SustaiNLP 2020 workshop