显著性基准测试变得简单：分离模型、映射与度量
计算机视觉与模式识别
2018-07-26 v2 应用统计
摘要
每年都有数十种关于注视点预测的新模型发表，并在MIT300和LSUN等开放基准上比较。然而，由于模型使用各种不一致的度量进行比较，该领域的进展可能难以判断。在此我们表明，没有任何单一的显著性图能在所有度量下表现良好。相反，我们提出一种原则性方法，通过分离显著性模型、映射与度量的概念来解决基准测试问题。受贝叶斯决策理论启发，我们将显著性模型定义为注视密度预测的概率模型，将显著性图定义为从模型密度导出的特定度量预测，该预测在给定模型密度下最大化该度量上的期望性能。我们为最常用显著性度量（AUC、sAUC、NSS、CC、SIM、KL-Div）推导这些最优显著性图，并表明它们可以解析计算或高精度近似。我们展示这导致所有度量下的一致排名，并避免使用一张显著性图应对所有度量带来的惩罚。我们的方法允许研究人员使其模型在许多不同度量上与这些度量上的最先进水平竞争：“好”模型将在所有度量中表现良好。
引用
@article{arxiv.1704.08615,
title = {Saliency Benchmarking Made Easy: Separating Models, Maps and Metrics},
author = {Matthias Kümmerer and Thomas S. A. Wallis and Matthias Bethge},
journal= {arXiv preprint arXiv:1704.08615},
year = {2018}
}
备注
published at ECCV 2018