面向深度伪造检测的真实感知残差模型融合
计算机视觉与模式识别
2025-09-30 v1
摘要
深度伪造生成器快速演进，使得穷尽式数据收集与重复重新训练不切实际。我们认为模型融合天然适用于深度伪造检测：与通用多任务设置中标签互不重叠的情形不同，深度伪造专家共享相同的二元决策，且在生成器特定的伪影上存在差异。实证结果表明，简单权重平均能在保留真实表示的同时削弱伪造特定线索。基于这些发现，我们提出真实感知残差模型融合（R²M），一个无需训练的参数空间融合框架。R²M通过任务向量的低秩分解估计共享的真实组件，将每个专家分解为真实对齐部分与伪造残差，利用逐层秩截断对残差进行去噪，并通过每任务范数匹配进行聚合，以防止任一生成器主导。一个简洁的原理解释了为何简单头部已足够：真实组件在特征空间中诱导出公共分离方向，而截断残差仅贡献微小的轴外变化。在分布内、跨数据集和未见数据集上，R²M优于联合训练和其他融合基线。重要的是，R²M也具有可组合性：当新的伪造家族出现时，我们微调一个专家并重新融合，从而消除了重新训练的需要。
引用
@article{arxiv.2509.24367,
title = {Real-Aware Residual Model Merging for Deepfake Detection},
author = {Jinhee Park and Guisik Kim and Choongsang Cho and Junseok Kwon},
journal= {arXiv preprint arXiv:2509.24367},
year = {2025}
}