E-LPIPS：基于随机变换集成的鲁棒感知图像相似度度量
计算机视觉与模式识别
2019-06-12 v2 神经与进化计算
摘要
最近研究表明，卷积神经网络的隐藏变量可构成高效的感知相似度度量，能准确预测人类对相对图像相似度评估的判断。首先，我们表明此类学习到的感知相似度度量（LPIPS）易受对抗攻击，其结果与人类视觉相似度判断严重相悖。尽管鉴于神经网络众所周知的对抗扰动弱点这并不令人意外，我们进一步表明，对输入施加无限族随机变换的自集成——一种已知无法使分类网络变得鲁棒的技术——足以使该度量对攻击鲁棒，同时保持对人类判断的预测能力。最后，我们研究所提新型自集成度量（E-LPIPS）在自然图像空间上所施加的几何结构。我们通过表明相似外观图像的凸组合保持外观，且离散测地线产生有意义的帧插值与纹理变形（均无需显式对应），发现了“感知凸性”的证据。
引用
@article{arxiv.1906.03973,
title = {E-LPIPS: Robust Perceptual Image Similarity via Random Transformation Ensembles},
author = {Markus Kettunen and Erik Härkönen and Jaakko Lehtinen},
journal= {arXiv preprint arXiv:1906.03973},
year = {2019}
}
备注
Code and supplemental material available at https://github.com/mkettune/elpips/