从分歧中学习：将临床医生否决作为基于价值的医疗中临床人工智能的隐式偏好信号

我们将临床医生对临床AI建议的否决重新定义为隐式偏好数据——这与从人类反馈中进行强化学习（RLHF）所利用的信号结构相同，但信息更丰富：注释者是领域专家，备选方案会带来实际后果，且下游结果是可观测的。我们提出了一个扩展标准偏好学习的正式框架，包含三项贡献：一个五类否决分类法，将否决类型映射到不同的模型更新目标；一个以患者状态s、组织环境c和临床医生能力κ为条件的偏好公式，其中κ分解为执行能力κ-exec和对齐能力κ-align；以及一种通过交替优化联合训练奖励模型和能力模型的双重学习架构，从而防止我们称之为抑制偏差的失败模式——即当临床医生能力低于执行阈值时，系统性地抑制正确但难以执行的建议。我们认为，在基于结果的支付合同下的慢性病管理会产生具有独特有利属性的否决数据——纵向密度、集中的决策空间、结果标签以及自然的能力差异——并且将纵向结果测量与对齐的财务激励相结合的训练环境，是学习一个与患者轨迹而非单次诊疗经济对齐的奖励模型的必要条件。该框架源于在真实基于价值的医疗部署中提高临床医生能力的实际工作。