语言模型在COVID-19自动问答上的定性评估
信息检索
2020-06-25 v2 人工智能
计算与语言
摘要
COVID-19已引发持续大流行，截至2020年6月12日已造成逾740万例感染与超41.8万例死亡。COVID-19高度动态且快速演变的态势，使得获取关于该疾病的准确按需信息十分困难。在线社区、论坛与社交媒体提供了检索相关问题解答或发帖求答的潜在场所。然而，鉴于此类站点的性质，可检索的相关问答数量始终有限，且发帖问题鲜获即时答复。随着自然语言处理领域、尤其是语言模型领域的进展，设计可自动应答用户问题的聊天机器人已成为可能。但此类模型极少在医疗健康领域被应用与评估，以满足基于准确且最新医疗数据的资讯需求。本文中，我们提议应用语言模型自动回答COVID-19相关问题，并定性评估生成回复。我们利用GPT-2语言模型，应用迁移学习在COVID-19开放研究数据集（CORD-19）语料上重训。为提升生成回复质量，我们应用tf-idf、BERT、BioBERT与USE四种不同方法筛选并保留回复中相关句子。在性能评估环节，我们请两位医学专家对回复打分。我们发现BERT与BioBERT在基于相关性的句子过滤任务上平均优于tf-idf与USE。此外，基于该聊天机器人，我们创建了一个用户友好的交互式Web应用以供在线托管。
引用
@article{arxiv.2006.10964,
title = {A Qualitative Evaluation of Language Models on Automatic Question-Answering for COVID-19},
author = {David Oniani and Yanshan Wang},
journal= {arXiv preprint arXiv:2006.10964},
year = {2020}
}