能量基约束网络：跨模态结构一致性学习

我们提出能量基约束网络——一种模态无关的架构，从对比样本中学习结构一致性。该系统将冻结的编码器嵌入通过具有双头注意力的状态空间模型处理，生成衡量结构一致性的标量能量，以及用于局部化违规位置的每个位置能量分数。多个独立训练的分支检测不同类型的违规，在推理时进行组合且不产生干扰。我们在两个领域展示了该框架。在文本领域，该系统在训练的损坏类型上达到93.4%准确率，在9个未见类型上达到87.2%准确率，使用冻结的BERT模型和740万可训练参数。在视觉领域，相同的架构实现了竞争性的深度伪造检测：在FaceForensics++深度伪造数据集上达到0.959的AUC，在Celeb-DF上达到0.870，且无需任何Celeb-DF训练数据，使用冻结的DINOv2和每个分支360万参数。该框架支持灵活的训练方式：分支可以从设计师指定的损坏、真实世界的配对数据，或两者兼顾进行学习。可组合分支需要表示兼容性——通过大量实验验证，在五种不兼容的方法失败后，唯一兼容的方法成功。该架构是编码器无关且领域无关的：仅需新的损坏策略即可更改领域；仅需新的输入投影层即可更改编码器。据我们了解，这是第一个在显式能量景观中学习模块内结构一致性并进行位置分解的架构，首次展示同一架构仅通过损坏重新指定即可跨模态迁移。