ADVISE：面向全球发展的证据综合人工智能加速设计
计算与语言
2023-05-03 v1
摘要
在设计循证政策与项目时，决策者必须从庞大且快速增长的文献库中提炼关键信息。从原始检索结果中识别相关文献耗时耗力，且常通过人工筛选完成。本研究中，我们开发了一种基于双向编码器表示从Transformer（BERT）模型的AI智能体，并将其纳入一个为人类团队设计全球发展证据综合产品的流程中。我们探索了人机混合团队在加速证据综合过程中的有效性。为进一步提升团队效率，我们通过主动学习（AL）增强了人机混合团队。具体而言，我们探索了不同的采样策略，包括随机采样、最小置信度（LC）采样和最高优先级（HP）采样，以研究它们对协同筛选过程的影响。结果表明，将基于BERT的AI智能体纳入人类团队，相较于无AI辅助的情况，在识别80%所有相关文档时可减少68.5%的人工筛选工作量；相较于使用基于支持向量机（SVM）的AI智能体，可减少16.8%。当我们对AL应用HP采样策略时，人工筛选工作量可进一步减少：相较于无AI辅助，在识别80%所有相关文档时减少78.3%。我们将AL增强的人机混合团队协作流程应用于为USAID设计三份证据缺口地图（EGMs）的过程中，并发现其高度有效。这些发现展示了在人机混合团队协作背景下，AI如何加速证据综合产品的开发并促进全球发展中及时的循证决策。
引用
@article{arxiv.2305.01145,
title = {ADVISE: AI-accelerated Design of Evidence Synthesis for Global Development},
author = {Kristen M. Edwards and Binyang Song and Jaron Porciello and Mark Engelbert and Carolyn Huang and Faez Ahmed},
journal= {arXiv preprint arXiv:2305.01145},
year = {2023}
}
备注
14 pages, 11 figures, to be published in the proceedings of IDETC-CIE 2023