别急着适应:通过在线测试时适应提高深度伪造检测的可适应性
计算机视觉与模式识别
2025-06-19 v2 人工智能
密码学与安全
摘要
深度伪造(DF)检测器在实际部署环境中面临重大挑战,尤其是当遇到通过后处理技术或分布迁移导致的测试样本偏离训练数据时。我们演示后处理技术可完全掩盖 DF 样本中呈现的生成痕迹,导致 DF 检测器性能下降。为此,我们提出了一种名为 Think Twice before Adaptation(TA)的新型在线测试时适应方法,通过无需访问源训练数据或标签来增强检测器在推理过程中的可适应性。我们的核心思想是通过一种不确定性感知负学习目标,使模型能够探索替代选项,而不仅仅是依赖其初始预测——这在基于熵最小化(EM)的方法中常见。我们还引入了不确定样本优先级策略和梯度掩码技术,以聚焦于重要样本和模型参数来提高适应性。我们的理论分析表明,所提出的负学习目标与 EM 在行为上具有互补性,从而促进更好的适应能力。实证上,我们的方法在现有测试时适应(TTA)方法中实现了最先进的性能,显著增强了 DF 检测器在推理过程中的韧性和泛化能力。代码已提供:https://github.com/HongHanh2104/T2A-Think-Twice-Before-Adaptation。
引用
@article{arxiv.2505.18787,
title = {Think Twice before Adaptation: Improving Adaptability of DeepFake Detection via Online Test-Time Adaptation},
author = {Hong-Hanh Nguyen-Le and Van-Tuan Tran and Dinh-Thuc Nguyen and Nhien-An Le-Khac},
journal= {arXiv preprint arXiv:2505.18787},
year = {2025}
}
备注
Accepted at 34th International Joint Conference on Artificial Intelligence (IJCAI-25)