线性预测作为感知度量的惊人有效性
计算机视觉与模式识别
2023-10-11 v1
摘要
我们展示了如何在推理时构建视觉系统的感知嵌入，无需训练数据或深度神经网络特征。我们的感知嵌入是在像素级别定义、在推理时求解的加权最小二乘（WLS）问题的解，能够捕捉全局与局部图像特征。嵌入空间中的距离被用于定义一种感知相似性度量，我们称之为 LASI：线性自回归相似度指数（Linear Autoregressive Similarity Index）。在全参考图像质量评估数据集上的实验表明，LASI 与基于深度特征学习的方法（如 LPIPS (Zhang et al., 2018) 和 PIM (Bhardwaj et al., 2020)）性能相当，且计算成本与 MS-SSIM (Wang et al., 2003) 等手工设计方法相近。我们发现，增加嵌入空间的维度能持续降低 WLS 损失并提升感知任务性能，代价是计算复杂度增加。LASI 完全可微，随嵌入维度数量呈三次方增长，并可在像素级别并行化。LASI 与 LPIPS 之间的最大差异化（MAD）竞争 (Wang & Simoncelli, 2008) 表明，两种方法都能为对方找到失效点，说明这些度量可以结合使用。
引用
@article{arxiv.2310.05986,
title = {The Unreasonable Effectiveness of Linear Prediction as a Perceptual Metric},
author = {Daniel Severo and Lucas Theis and Johannes Ballé},
journal= {arXiv preprint arXiv:2310.05986},
year = {2023}
}