基于 Transformer 的 COVID-19 问答模型
计算与语言
2021-01-28 v1 机器学习
摘要
为响应 Kaggle 的 COVID-19 开放研究数据集（CORD-19）挑战，我们提出了三种使用 BERT、ALBERT 和 T5 模型的基于 Transformer 的问答系统。由于 CORD-19 数据集无标注，我们在两个有标注的问答数据集——CovidQA 和 CovidGQA 上评估了问答模型的性能。基于 BERT 的 QA 系统取得了最高的 F1 分数（26.32），而基于 ALBERT 的 QA 系统取得了最高的精确匹配（13.04）。然而，为持续的 COVID-19 大流行和未来大流行开发高性能问答系统面临诸多挑战。在本文末尾，我们讨论了这些挑战并提出了潜在的解决方案。
引用
@article{arxiv.2101.11432,
title = {Transformer-Based Models for Question Answering on COVID19},
author = {Hillary Ngai and Yoona Park and John Chen and Mahboobeh Parsapoor},
journal= {arXiv preprint arXiv:2101.11432},
year = {2021}
}
备注
7 pages, 3 figures, 1 table