SF-QA：面向开放域问答的简洁公平评测库
计算与语言
2021-05-24 v2 信息检索
摘要
尽管开放域问答（QA）近年来备受关注，但其构建完整系统需要大量资源，且由于配置复杂，往往难以复现先前结果。在本文中，我们介绍了 SF-QA：面向开放域问答的简洁公平评测框架。SF-QA 框架将流水线式开放域问答系统模块化，使得该任务本身对于计算资源不足的研究团队而言易于上手和复现。所提出的评测框架已公开可用，任何人都可以为代码和评测做出贡献。
引用
@article{arxiv.2101.01910,
title = {SF-QA: Simple and Fair Evaluation Library for Open-domain Question Answering},
author = {Xiaopeng Lu and Kyusong Lee and Tiancheng Zhao},
journal= {arXiv preprint arXiv:2101.01910},
year = {2021}
}
备注
Accepted to EACL2021 demo track (7 pages)