混合监督下的分割：置信度最大化助力知识蒸馏

尽管深度神经网络在广泛的医学图像分割任务中取得了令人鼓舞的结果，但其需要带有像素级标注的大型训练数据集。获取这些精心整理的数据集是一个繁琐的过程，限制了其在某些场景中的适用性。混合监督是缓解这一障碍的一种有吸引力的替代方案。在这项工作中，我们提出了一种双分支架构，其中上分支（教师）接收强标注，而下分支（学生）由有限监督驱动并受上分支引导。结合标注像素上的标准交叉熵损失，我们的新公式集成了两个重要项：(i) 定义于弱监督图像上的香农熵损失，其鼓励下分支中学生预测具有置信度；(ii) KL散度项，其将强监督分支的知识（即预测）迁移到弱监督分支，并引导熵（学生置信度）项以避免平凡解。我们表明熵与KL散度之间的协同作用带来了性能的显著提升。我们还讨论了香农熵最小化与标准伪掩码生成之间的有趣联系，并论证在利用未标注像素信息时前者应优于后者。我们使用两个公开可用数据集通过一系列定量和定性实验评估了所提公式的有效性。结果表明，我们的方法在混合监督框架内显著优于其他语义分割策略以及近期的半监督方法。我们的代码公开可用：https://github.com/by-liu/ConfKD。