基于跨模态迁移的图像到视频攻击方法探讨视频质量指标漏洞
计算机视觉与模式识别
2026-03-25 v1 人工智能
摘要
近期研究表明，现代图像和视频质量评估（IQA/VQA）指标易受到对抗攻击。攻击者可通过预处理手段操控视频，从而人为提升其特定指标下的质量评分，尽管实际视觉质量并未提升。文献中大多数研究聚焦于白盒攻击，而针对VQA的黑盒攻击关注不足。此外，部分研究指出，针对一个模型生成的对抗样本在VQA任务中对另一个模型的迁移性较差。本文提出一种跨模态攻击方法IC2VQA，旨在探索现代VQA模型的漏洞。该方法基于图像和视频低层特征空间相似性的观察，研究了针对白盒IQA模型上生成的对抗扰动对VQA模型的有效性。IC2VQA方法通过引入CLIP模块，显著提升了迁移性，因为CLIP模型在捕捉低层语义方面表现突出。大量实验表明，IC2VQA在攻击三个黑盒VQA模型时成功率很高。我们与现有黑盒攻击策略进行比较，突出其在相同迭代次数和攻击强度下攻击成功率的优势。我们认为，所提方法将促进对鲁健VQA指标的深入分析。
引用
@article{arxiv.2501.08415,
title = {Cross-Modal Transferable Image-to-Video Attack on Video Quality Metrics},
author = {Georgii Gotin and Ekaterina Shumitskaya and Anastasia Antsiferova and Dmitriy Vatolin},
journal= {arXiv preprint arXiv:2501.08415},
year = {2026}
}
备注
Accepted for VISAPP 2025