用于鲁棒 UDC 图像恢复的对抗净化与微调
图像与视频处理
2024-11-04 v3 计算机视觉与模式识别
摘要
本研究深入探讨了屏下摄像头图像恢复模型的增强,重点关注其对对抗攻击的鲁棒性。尽管 UDC 技术在无缝显示集成方面具有创新性,但其面临着独特的图像退化挑战,且易受对抗扰动的影响而加剧。我们的研究首先采用几种白盒和黑盒攻击方法,对基于深度学习的 UDC 图像恢复模型进行了深入的鲁棒性评估。这一评估对于理解当前 UDC 图像恢复技术的脆弱性至关重要。在评估之后,我们引入了一个将对抗净化与后续微调过程相结合的防御框架。首先,我们的方法采用基于扩散的对抗净化,有效中和对抗扰动。然后,我们应用微调方法进一步改进图像恢复模型,确保恢复图像的质量和保真度得以保持。通过大量实验验证了我们提出方法的有效性,结果表明其对典型对抗攻击的抵御能力有显著提升。
引用
@article{arxiv.2402.13629,
title = {Adversarial Purification and Fine-tuning for Robust UDC Image Restoration},
author = {Zhenbo Song and Zhenyuan Zhang and Kaihao Zhang and Zhaoxin Fan and Jianfeng Lu},
journal= {arXiv preprint arXiv:2402.13629},
year = {2024}
}
备注
Failure to meet expectations