纹理、形状、顺序与关系皆重要：面向顺序深度伪造检测的新型 Transformer 设计

序列深度伪造检测是一种新兴任务，旨在预测操纵序列的顺序。现有方法通常将其表述为图像到序列的问题，采用常规 Transformer 架构。然而，这些方法缺乏专门的设计，导致性能受限。为此，本文描述了一种新型 Transformer 设计，称为TSOM，通过从三个角度探索操纵的纹理、形状和顺序。我们的方法包含四项主要改进：\ding{182} 我们提出一种新的纹理感知分支，通过Diversiform Pixel Difference Attention模块有效捕获细微的操纵痕迹。\ding{183} 随后引入多源跨注意力模块，以寻求空间特征与序列特征之间的深层关联，实现对复杂操纵痕迹的有效建模。\ding{184} 为进一步增强跨注意力，我们描述了一种基于Shape引导的高斯映射策略，提供操纵形状的初始先验。\ding{185} 最后，观察到序列中的后续操纵可能影响前序操纵留下的痕迹，我们意想的是将预测顺序从正向反向翻转，实现显著提升。基于TSOM，我们引入了扩展方法TSOM++，进一步探索操纵之间的关系：\ding{186} 我们提出一种新的序列对比学习方案，以捕获序列中不同操纵类型的关系，进一步增强操纵痕迹的检测。我们对比了多个最新方法进行了广泛实验，证明了我们方法的优越性。代码已发布于 https://github.com/OUC-VAS/TSOM。