通过基于CNN的超图像表示捕捉局部图像伪影

在相对较小的数据集上训练深度CNN以捕捉局部图像伪影是一项具有挑战性的任务。若有足够多的图像，人们可以期望深度CNN刻画整个数据上局部伪影及其对输出的影响。然而，在较小的数据集上，此类深度CNN可能过拟合，而浅层网络难以捕捉局部伪影。因此，一些基于图像的小数据应用首先在一组图像块（而非整幅图像）上训练其框架，以更好地学习局部伪影的表示，然后通过平均块级结果得到输出。这种方法忽略了块之间的空间相关性以及不同块位置如何影响输出，并且在少数块主要贡献于图像标签的情况下也会失效。为应对这些情形，我们提出了超图像表示的概念。我们的CNN分为两个阶段：第一阶段在图像块上训练；第二阶段利用第一阶段最后一层得到的表示构建超图像，并用于训练第二阶段。我们表明该方法能够在图像与其输出之间建立更好的映射。我们分析了该方法的额外性质，并通过在一项合成任务和两项真实视觉任务——无参考图像质量估计与图像篡改检测——上相对于现有强基线的性能提升，展示了其有效性。