Goldilocks 可复现性研究：面向技术辅助审阅的 BERT 恰到好处调优

文档筛选是高召回检索任务（如编纂系统性文献综述，其目标是识别某一主题的所有相关文档）中一项繁琐且耗时的工作。为帮助简化此过程，许多技术辅助审阅（TAR）方法利用主动学习技术来减少需要审阅的文档数量。基于BERT的模型在文本分类中已显示出高效性，这引发了对其在TAR工作流中潜在用途的兴趣。在本文中，我们研究了近期关于进一步预训练轮次对基于BERT的主动学习流程有效性和效率影响的工作。我们首先报告，我们能够在两个特定的TAR数据集上复现原始实验，证实了部分发现：重要的是，进一步预训练对于实现高效性至关重要，但在选择正确的训练轮次方面需要关注。随后，我们研究了该流程在不同TAR任务（医学系统综述）上的泛化能力。在此背景下，我们表明，如果在主动学习流程中使用特定领域的BERT骨干网络，则无需进行进一步的预训练。这一发现为在特定领域的TAR任务中使用所研究的主动学习流程提供了实践启示。