数字干预实施中在线决策算法的有效监控
计算机与社会
2024-09-18 v1 人工智能
摘要
数字干预越来越多地使用在线 AI 决策算法，以动态地为个体提供个性化治疗。这些算法根据不断累积的数据实时确定治疗的实施。本文旨在为在线决策算法的有效监控提供指南，其目标为（1）保护个体以及（2）确保数据质量。我们阐明了一些指南，并讨论了我们在两项数字干预临床试验（Oralytics 和 MiWaves）中监控在线决策算法的经验。我们的指南包括（1）开发回退方法，即在出现问题时执行的预定义程序，以及（2）识别潜在问题并按严重程度（红色、黄色和绿色）对其进行分类。在这两项试验中，监控系统检测到了实时问题，如内存不足、数据库超时以及与外部源的通信失败。回退方法防止了参与者在试验期间未接受任何治疗，也防止了在统计分析中使用不正确的数据。这些试验为健康科学家如何为其数字干预构建监控系统提供了案例研究。如果没有这些算法监控系统，关键问题将无法被检测和解决。相反，这些监控系统保护了参与者，并确保了用于更新干预措施和促进科学发现的结果数据的质量。这些监控指南和发现使数字干预团队有信心将在线决策算法纳入数字干预中。
引用
@article{arxiv.2409.10526,
title = {Effective Monitoring of Online Decision-Making Algorithms in Digital Intervention Implementation},
author = {Anna L. Trella and Susobhan Ghosh and Erin E. Bonar and Lara Coughlin and Finale Doshi-Velez and Yongyi Guo and Pei-Yao Hung and Inbal Nahum-Shani and Vivek Shetty and Maureen Walton and Iris Yan and Kelly W. Zhang and Susan A. Murphy},
journal= {arXiv preprint arXiv:2409.10526},
year = {2024}
}