用人类相似性判断与心理嵌入丰富 ImageNet
计算机视觉与模式识别
2020-11-24 v1 机器学习
摘要
物体识别领域的进展部分得益于高质量数据集及相关基准的可获得性。然而，这些基准——如 ILSVRC——相对任务特定，主要聚焦于预测类标签。我们引入一个公开可用数据集，其体现了人类感知与推理的任务通用能力。ImageNet 的人类相似性判断扩展（ImageNet-HSJ）由补充 ILSVRC 验证集的人类相似性判断组成。该新数据集支持一系列任务与性能指标，包括对无监督学习算法的评估。我们展示了两种评估方法：直接使用相似性判断，以及使用在相似性判断上训练的心理嵌入。该嵌入空间包含的图像点（即图像）数量比先前基于人类判断的工作多一个数量级。扩展到完整的 50,000 图像集之所以可行，是通过一个选择性采样过程实现的，该过程使用变分贝叶斯推断与模型集成来采样嵌入空间中最不确定的方面。这一方法学创新不仅实现了扩展，还应通过聚焦所需采样来提升解的质量。为展示 ImageNet-HSJ 的效用，我们利用相似性评分与嵌入空间来评估若干流行模型在多大程度上符合人类相似性判断。其中一个发现是，在任务特定基准上表现更好、更复杂的模型，并未更好地符合人类语义判断。除人类相似性判断外，预训练的心理嵌入与用于推断变分嵌入的代码也公开提供。总体而言，ImageNet-HSJ 资源支持对内部表示的评价以及更类人模型的开发。
引用
@article{arxiv.2011.11015,
title = {Enriching ImageNet with Human Similarity Judgments and Psychological Embeddings},
author = {Brett D. Roads and Bradley C. Love},
journal= {arXiv preprint arXiv:2011.11015},
year = {2020}
}