不只是语义问题：视觉相似度与语义相似度之间的关系
计算机视觉与模式识别
2019-06-03 v2
摘要
知识迁移、零样本学习（zero-shot learning）和语义图像检索是旨在利用语义信息（例如来自 WordNet）来提高准确率的方法。人们假定此类信息能够以带标签训练图像的形式补充或替代缺失的视觉数据，因为语义相似度与视觉相似度相关。这一假设看似平凡，但对这类语义方法的应用至关重要。任何违背都会引发错误预测。因此，针对特定目标问题审视视觉-语义关系十分重要。本文中，我们各使用五种语义与视觉相似度度量，在不依赖任何单一定义的前提下彻底分析该关系。我们提出并验证了关于该关系的三个影响重大的假设。结果表明该关系确实存在，且 WordNet 语义相似度比仅知晓“不同类别看起来不同”承载了更多关于视觉相似度的信息。结果还表明，分类并非语义方法的理想应用，且错误的语义信息比没有语义信息更糟糕。
引用
@article{arxiv.1811.07120,
title = {Not just a matter of semantics: the relationship between visual similarity and semantic similarity},
author = {Clemens-Alexander Brust and Joachim Denzler},
journal= {arXiv preprint arXiv:1811.07120},
year = {2019}
}
备注
12 pages, 4 figures