超越验证损失：临床定制优化指标提升模型的临床性能

机器学习中的一个关键任务是在各个阶段优化模型，例如选择超参数或确定停止点。传统的机器学习方法使用验证损失，即将训练损失函数应用于验证集以指导这些优化。然而，面向医疗保健的机器学习与传统机器学习有着不同的目标：模型必须在特定的临床要求下表现良好，而不是相对于用于训练的损失函数表现良好。这些临床要求可以通过定制指标更精确地捕捉。由于许多优化任务不要求驱动指标是可微的，它们允许更广泛的选择，包括使用为临床相关性量身定制的指标。在本文中，我们描述了两个对照实验，展示了在临床任务上表现更好的意义上，使用临床定制指标相比于验证损失提供了更优的模型优化。使用临床相关指标进行优化需要一些额外的工作，以定义指标并将其编码到流水线中。但它可以产生更好地满足医疗保健机器学习核心目标的模型：在临床中表现优异。