MedPerf：基于联邦评估的医学人工智能开放基准测试平台
机器学习
2023-10-17 v3 分布式、并行与集群计算
性能
软件工程
摘要
医学 AI 在推进医疗保健方面具有巨大潜力，可支持循证医学实践、个性化患者治疗、降低成本并改善提供方与患者体验。我们认为，释放这一潜力需要一种系统性的方法来衡量医学 AI 模型在大规模异质数据上的性能。为满足这一需求，我们正在构建 MedPerf，一个用于医学领域机器学习基准测试的开放框架。MedPerf 将支持联邦评估，其中模型被安全地分发到不同机构进行评测，从而以高效且有人工监督的流程赋能医疗组织评估和验证 AI 模型的性能，同时优先考虑隐私。我们描述了医疗和 AI 社区当前面临的挑战、对开放平台的需求、MedPerf 的设计理念、其当前实现状态以及我们的路线图。我们呼吁研究人员和组织加入我们，共同创建 MedPerf 开放基准测试平台。
引用
@article{arxiv.2110.01406,
title = {MedPerf: Open Benchmarking Platform for Medical Artificial Intelligence using Federated Evaluation},
author = {Alexandros Karargyris and Renato Umeton and Micah J. Sheller and Alejandro Aristizabal and Johnu George and Srini Bala and Daniel J. Beutel and Victor Bittorf and Akshay Chaudhari and Alexander Chowdhury and Cody Coleman and Bala Desinghu and Gregory Diamos and Debo Dutta and Diane Feddema and Grigori Fursin and Junyi Guo and Xinyuan Huang and David Kanter and Satyananda Kashyap and Nicholas Lane and Indranil Mallick and Pietro Mascagni and Virendra Mehta and Vivek Natarajan and Nikola Nikolov and Nicolas Padoy and Gennady Pekhimenko and Vijay Janapa Reddi and G Anthony Reina and Pablo Ribalta and Jacob Rosenthal and Abhishek Singh and Jayaraman J. Thiagarajan and Anna Wuest and Maria Xenochristou and Daguang Xu and Poonam Yadav and Michael Rosenthal and Massimo Loda and Jason M. Johnson and Peter Mattson},
journal= {arXiv preprint arXiv:2110.01406},
year = {2023}
}