认证单阶段技术辅助审阅
信息检索
2021-08-31 v1 机器学习
摘要
基于迭代主动学习的技术辅助审阅(TAR)工作流广泛应用于文档审阅场景。大多数单阶段TAR工作流的停止规则缺乏有效的统计保证,这阻碍了它们在某些法律场景中的使用。借助分位数估计理论,我们为单阶段TAR提供了首个广泛适用且统计有效的基于样本的停止规则。我们进一步从理论与经验上表明,超出召回率目标(在以往停止规则评估中被视为无害或可取)是单阶段TAR工作流中额外成本的主要来源。与直觉相反,承担更大的采样成本以降低超额召回率,在几乎所有场景下都会导致更低的总成本。
引用
@article{arxiv.2108.12746,
title = {Certifying One-Phase Technology-Assisted Reviews},
author = {David D. Lewis and Eugene Yang and Ophir Frieder},
journal= {arXiv preprint arXiv:2108.12746},
year = {2021}
}
备注
10 pages, 4 figures, accepted at CIKM 2021