技术辅助评审的启发式停止规则
信息检索
2021-06-21 v1 机器学习
摘要
技术辅助评审（TAR）指用于在大型文档集合中查找相关文档的人机协同主动学习工作流。这些工作流通常必须满足所发现相关文档比例（即召回率）的目标，同时还需控制成本。已有多种启发式停止规则被提出用于在特定场景下权衡这一矛盾，但尚无研究针对一系列召回率目标与任务对它们进行测试。我们提出了两种新的启发式停止规则 Quant 和 QuantCI，其基于调查研究中基于模型的估计技术。我们将它们与一系列已有启发式方法进行比较，发现它们能在命中多种召回率目标时保持准确，同时大幅降低评审成本。
引用
@article{arxiv.2106.09871,
title = {Heuristic Stopping Rules For Technology-Assisted Review},
author = {Eugene Yang and David D. Lewis and Ophir Frieder},
journal= {arXiv preprint arXiv:2106.09871},
year = {2021}
}
备注
10 pages, 2 figures. Accepted at DocEng 21