基于非互斥对比学习的免预训练图像篡改定位

深度图像篡改定位（IML）模型受训练数据不足的困扰，因此严重依赖预训练。我们认为对比学习更适合解决IML的数据不足问题。构建互斥的正样本和负样本是对比学习的先决条件。然而，在IML中采用对比学习时，我们遇到三类图像块：篡改块、真实块和轮廓块。篡改块和真实块天然互斥，但包含篡改与真实像素的轮廓块与它们非互斥。简单地舍弃这些轮廓块会导致性能急剧下降，因为轮廓块对学习效果起决定性作用。因此，我们提出非互斥对比学习（NCL）框架，将传统对比学习从上述困境中解救出来。在NCL中，为应对非互斥性，我们首先建立具有双分支的枢轴结构，在训练时不断切换轮廓块作为正样本和负样本的角色。然后，我们设计了一种枢轴一致性损失，以避免角色切换过程引起的空间破坏。以此方式，NCL既继承了自监督优势以解决数据不足问题，又保持了较高的篡改定位精度。大量实验验证，我们的NCL在全部五个基准上无需任何预训练即达到最先进性能，并且在未见过的真实样本上更具鲁棒性。代码见：https://github.com/Knightzjz/NCL-IML。