超越全监督像素标注：基于草图的图像操纵局部化弱监督框架

深度学习基于图像操纵局部化（IML）的方法在近年来取得了显著成绩，但通常依赖大规模像素级标注数据集。为解决获取高质量标注的挑战，一些最近的弱监督方法利用图像级标签进行操纵区域分割，但性能仍受限于不足的监督信号。在本研究中，我们探索一种改善标注效率和检测性能的弱监督形式，即草图标注监督。我们重新标注主流 IML 数据集，提出首个基于草图的 IML（Sc-IML）数据集。此外，我们提出首个基于草图的弱监督 IML 框架。具体而言，我们采用自监督训练结合结构一致性损失，以鼓励模型在多尺度和增强输入下产生一致预测。此外，我们提出一种先验感知特征调制模块（PFMM），用于动态地整合操纵区域和真实区域的先验信息，以实现特征调整，进一步增强复杂场景中的特征判别性和预测一致性。我们还提出一种门控自适应融合模块（GAFM），利用门控机制调节特征融合期间的信息流，引导模型侧重潜在操纵区域。最后，我们提出一种基于置信度的熵最小化损失（${\mathcal{L}}_{ {CEM }}$）。该损失根据模型不确定性动态正则化弱标注或未标注区域，有效抑制不可靠预测。实验结果表明，我们的方法在分布内和分布外的平均性能均优于现有全监督方法。