通过问题生成加速实时问答
计算与语言
2021-09-03 v2
摘要
尽管深度神经网络在问答（QA）方面取得了巨大成功，但在实际产品部署中仍面临沉重的计算与能耗成本。此外，现有 QA 系统受限于实时问题经神经网络编码的时间，因此在大规模流量部署中存在可察觉的延迟。为降低计算成本并加速实际使用的实时问答（RTQA），我们提出从在线 QA 系统中移除所有神经网络，并给出 Ocean-Q（问题之海），其引入一种新的问题生成（QG）模型离线生成大量 QA 对池，然后在实时中将输入问题与候选 QA 池匹配以预测答案，无需问题编码。Ocean-Q 可轻松部署于现有分布式数据库系统或搜索引擎中以供大规模查询使用，且因无需维护大型神经网络而无额外成本，更加绿色。在 SQuAD(-open) 和 HotpotQA 基准上的实验表明，Ocean-Q 能够将最快的 SOTA RTQA 系统加速 4 倍，且仅损失 3% 多的准确率。
引用
@article{arxiv.2009.05167,
title = {Accelerating Real-Time Question Answering via Question Generation},
author = {Yuwei Fang and Shuohang Wang and Zhe Gan and Siqi Sun and Jingjing Liu and Chenguang Zhu},
journal= {arXiv preprint arXiv:2009.05167},
year = {2021}
}