HyperFake：基于 hyperspectral 重建与注意力引导的深度伪造检测

深度伪造构成数字媒体安全的重大威胁，现有检测方法在不同操纵技术和数据集之间难以泛化。虽然近期方法结合CNN架构与Vision Transformer或利用多模态学习，但仍受限于RGB数据的固有限制。我们提出HyperFake，一种新颖深度伪造检测管道，通过从标准RGB视频重建31通道hyperspectral数据，揭示常规方法无法察觉的隐藏操纵痕迹。采用改进版MST++架构提升hyperspectral重建，同时通过光谱注意力机制筛选深度伪造检测的关键光谱特征。精炼后的光谱数据随后由基于EfficientNet的分类器处理，该分类器针对光谱分析进行优化，实现对不同深度伪造风格和数据集的更准确且更具通用性的检测，无需昂贵的hyperspectral摄像机。到目前为止，HyperFake是首个利用hyperspectral图像重建进行深度伪造检测的方案，为检测日益复杂的操纵方式开辟了新可能。