识别并缓解深度感知相似性度量的缺陷
计算机视觉与模式识别
2022-07-07 v1
摘要
度量图像相似性是计算机视觉的一个基本问题，目前尚无通用解法。尽管像逐像素 L2 范数这样的简单度量已被证明存在显著缺陷，它们仍然流行。近期一组缓解其中部分缺陷的最先进度量是深度感知相似性（DPS）度量，其将相似性评估为神经网络深层特征之间的距离。然而，DPS 度量本身的优势尤其是缺陷却较少被透彻检验。本文研究了最常见的 DPS 度量（按空间位置比较深层特征），以及比较平均和排序深层特征的度量。通过使用专门设计用于挑战这些度量的图像，深入分析了各度量的优劣。本文贡献在于对 DPS 缺陷的新见解，并进一步提出了度量的改进方案。本文实现已在线提供：https://github.com/guspih/deep_perceptual_similarity_analysis/
引用
@article{arxiv.2207.02512,
title = {Identifying and Mitigating Flaws of Deep Perceptual Similarity Metrics},
author = {Oskar Sjögren and Gustav Grund Pihlgren and Fredrik Sandin and Marcus Liwicki},
journal= {arXiv preprint arXiv:2207.02512},
year = {2022}
}