层次化表示的特征失真
计算机视觉与模式识别
2020-07-28 v3
摘要
我们开发了一种方法，用于比较层次化图像表示在解释人类感知敏感性方面的能力。具体来说，我们利用 Fisher 信息来建立模型对图像局部扰动敏感性的预测。对于给定图像，我们计算 Fisher 信息矩阵具有最大和最小特征值的特征向量，分别对应于模型预测的最易察觉和最不易察觉的图像失真。然后，对于人类受试者，我们测量每种失真在添加到图像时能被可靠检测到的量。我们使用此方法测试了多种表示模拟人类感知敏感性的能力。我们发现，针对物体识别优化的深度神经网络 VGG16 的早期层，比后期层能更好地匹配人类感知，并且比在人类失真图像质量评分数据库上训练的四阶段卷积神经网络 (CNN) 匹配得更好。另一方面，我们发现，包含一个或多个局部增益控制阶段的早期视觉处理简单模型，在相同的失真评分数据库上训练后，对人类敏感性的预测显著优于 CNN 或 VGG16 的任何层组合。
引用
@article{arxiv.1710.02266,
title = {Eigen-Distortions of Hierarchical Representations},
author = {Alexander Berardino and Johannes Ballé and Valero Laparra and Eero P. Simoncelli},
journal= {arXiv preprint arXiv:1710.02266},
year = {2020}
}
备注
Selected for oral presentation at NIPS 2017