“人体是一个黑箱”：用深度学习支持临床决策

机器学习技术正越来越多地被开发用于医疗健康领域。尽管研究界一直聚焦于创建最先进的模型，但对于真实世界中的部署以及由此带来的准确性、公平性、问责制和透明度等方面的挑战，关注较少。关于如何合乎伦理地构建模型、解释和说明模型输出、识别并考量偏差、以及尽量减少对专业知识和工作文化的干扰，一些严肃的问题仍未得到充分审视。我们填补了文献中的这一空白，并提供了一份详细的案例研究，涵盖 Sepsis Watch 的开发、实施与评估；Sepsis Watch 是一个由机器学习驱动的工具，可协助医院临床医生对脓毒症进行早期诊断和治疗。作为开发和评估该工具的团队，我们讨论了对该工具的概念化：不是将其视为部署于世界中的模型，而是视为需要整合进现有社会与专业语境的社会技术系统。我们并未聚焦于以模型可解释性来确保公平且可问责的机器学习，而是指出了在开发用于支持临床决策的机器学习时应考虑的四种关键价值观与实践：在语境中严格定义问题、与利益相关者建立关系、尊重专业裁量权、并与利益相关者创建持续的反馈回路。我们的工作对未来关于制度问责机制以及机器学习系统设计考量方面的研究具有重大意义。我们的工作凸显了模型可解释性作为在实践中确保透明度、准确性和问责制的解决方案的局限性。相反，我们的工作展示了在设计与实践中实现 FATML（公平、问责、透明机器学习）价值观的其他手段与目标。