“这是示例图像吗？”——预测图像与文本的相对抽象程度
机器学习
2019-01-31 v1 计算与语言
计算机视觉与模式识别
信息检索
机器学习
摘要
成功的多模态搜索与检索需要自动理解语义跨模态关系，但这仍是一个开放的研究问题。先前的工作提出了跨模态互信息与语义相关性等度量来建模并预测图像与文本的跨模态语义关系。本文中，我们提出一种预测给定图像-文本对的（跨模态）相对抽象程度的方法，即判断图像是文本的抽象还是反之。为此，我们引入了一种新度量，在抽象程度（ABS）上刻画图像与文本间的这一特定关系。我们提出了一种深度学习方法来预测该度量，其依赖于一种自编码器架构，使我们能显著减少所需的标注训练数据量。我们收集了全面的公开科学文档集合。在具有挑战性的测试集上的实验结果证明了该方法的可行性。
引用
@article{arxiv.1901.07878,
title = {"Is this an example image?" -- Predicting the Relative Abstractness Level of Image and Text},
author = {Christian Otto and Sebastian Holzki and Ralph Ewerth},
journal= {arXiv preprint arXiv:1901.07878},
year = {2019}
}
备注
14 pages, 6 figures, accepted at ECIR2019