隐藏分层中的子群性能分析

机器学习（ML）模型可能在患者群体之间出现显著的性能差异。通过在细粒度水平监控性能差异对于安全地将 ML 部署到每个患者至关重要。传统的基于元数据的子群分析只能在可用的元数据（例如患者性别）充分反映性能可变性的主要原因时暴露性能差异，这在实际中并不常见。基于所学特征表示识别 cohesive 子群的子群发现技术似乎是一种潜在解决方案：它们可能暴露隐藏的分层并提供更细粒度的子群性能报告。然而，由于真实数据中不存在基准分层标签，子群发现甚至作为独立任务来评估都很具挑战性。因此，子群发现既没有被应用于也没有被评估用于子群性能监控。本文在胸部 X 光和皮肤 lesion 分类中应用子群发现用于性能监控。我们提出了新的评估策略，并表明一种不访问分类标签或元数据的简化子群发现方法可以暴露比传统基于元数据的子群分析更大的性能差异。我们提供了首要且有说服力的证据，表明子群发现可以作为可信赖医学 AI 全面性能验证和监控的重要工具。