LipSim：一种可证明鲁棒的感知相似度度量
计算机视觉与模式识别
2024-04-01 v2 机器学习
摘要
近年来，开发和应用感知相似度度量日益增长。研究表明，感知度量在符合人类感知及作为人类视觉系统代理方面优于逐像素度量。另一方面，由于感知度量依赖神经网络，鉴于神经网络对对抗攻击的已知脆弱性，人们对其鲁棒性日益担忧。推断感知度量可能继承神经网络的优点和缺点在逻辑上是合理的。在这项工作中，我们展示了基于 ViT 特征提取器集成的最先进感知相似度度量对对抗攻击的脆弱性。然后我们提出一个训练鲁棒感知相似度度量 LipSim（Lipschitz 相似度度量）的框架，带有可证明保证。通过利用 1-Lipschitz 神经网络作为骨干，LipSim 在每个数据点周围提供受保护区域以及对 球内所有扰动的证书。最后，一套综合实验展示了 LipSim 在自然分数、认证分数及图像检索应用上的性能。代码见 https://github.com/SaraGhazanfari/LipSim。
引用
@article{arxiv.2310.18274,
title = {LipSim: A Provably Robust Perceptual Similarity Metric},
author = {Sara Ghazanfari and Alexandre Araujo and Prashanth Krishnamurthy and Farshad Khorrami and Siddharth Garg},
journal= {arXiv preprint arXiv:2310.18274},
year = {2024}
}