两种基于深度学习的商用 COVID-19 文献信息检索系统评估
信息检索
2020-07-29 v2
摘要
COVID-19 大流行导致对获取最新科学信息的巨大需求，主要通过文本挖掘和搜索工具实现。这既催生了与 COVID-19 相关的生物医学文章语料库（如 CORD-19 语料库（Wang 等，2020）），也催生了查询此类数据的搜索引擎。尽管大多数搜索引擎研究在信息检索（IR）学术领域进行，但大多数学术搜索引擎——尽管经过严格评估——使用甚少，而主流商业网络搜索引擎（如 Google、Bing）占据主导。这与 COVID-19 相关，因为可以预期，为大流行部署的商业搜索引擎将比学术实验室产出的获得高得多的使用率，从而引出关于这些搜索工具实证性能的问题。本文旨在实证评估 Google 和 Amazon 推出的两个此类 COVID-19 商用搜索引擎，并与 TREC-COVID 赛道（Roberts 等，2020）背景下评估的更学术化的原型进行比较。我们执行了若干步骤以减少可用人工判断中的偏差，以确保两个系统与提交至 TREC-COVID 的系统进行公平比较。我们发现，TREC-COVID 中在 bpref 指标上表现最优的系统在本研究评估的所有不同系统中于所有指标上均表现最佳。这对未来健康危机中开发生物医学检索系统以及公众对流行健康搜索引擎的信任具有启示意义。
引用
@article{arxiv.2007.03106,
title = {An Evaluation of Two Commercial Deep Learning-Based Information Retrieval Systems for COVID-19 Literature},
author = {Sarvesh Soni and Kirk Roberts},
journal= {arXiv preprint arXiv:2007.03106},
year = {2020}
}