基于内在重要性感知的自适应 Forensic 特征细化
计算机视觉与模式识别
2026-04-23 v2
摘要
随着生成模型和多模态内容编辑技术的快速发展，合成图像检测（SID）面临的关键挑战在于对未知生成来源的跨分布泛化。近年来，基于视觉基础模型（VFM）的方法因通过大规模图像-文本对齐预训练获取丰富的视觉先验，而成为提高 SID 泛化能力的有前景的技术路径。然而，现有基于 VFM 的方法在适应策略上仍相对粗粒度。它们通常要么直接使用 VFM 的最终层表示，要么仅简单地融合多层特征，缺乏对可迁移伪造线索的最优表示层次结构的显式建模。同时，虽然直接微调 VFM 可增强任务适应性，但也可能损坏支撑开放集泛化的跨模态预训练结构。为解决这一任务特定的张力，我们将 VFM 适用于 SID 的适应问题重新表述为联合优化问题：既需要识别更适合传递伪造判别信息的关键表示层，又需要约束任务知识注入对预训练结构的干扰。基于此，我们提出了 I2P，即以内在重要性感知为中心的 SID 框架。I2P 首先自适应地识别最具判别性的关键层表示，然后在低灵敏度参数子空间内约束任务驱动的参数更新，从而在尽可能保留预训练表示可迁移结构的前提下提高任务特异性。
引用
@article{arxiv.2604.16879,
title = {Adaptive Forensic Feature Refinement via Intrinsic Importance Perception},
author = {Jiazhen Yang and Junjun Zheng and Kejia Chen and Xiangheng Kong and Jie Lei and Zunlei Feng and Bingde Hu and Yang Gao},
journal= {arXiv preprint arXiv:2604.16879},
year = {2026}
}