利用概率软逻辑通过视觉与推理解答图像谜题
计算机视觉与模式识别
2016-11-21 v1 人工智能
摘要
在这项工作中，我们探索了一种谜题类型（“图像谜题”），其包含一组图像和一个问题。解答这些谜题需要涉及视觉检测（包括物体、活动识别）以及基于知识或常识推理的能力。我们编译了一个包含超过 3k 个谜题的数据集，每个谜题由 4 张图像和一个真实答案组成。标注通过众包评估进行了验证。我们还定义了一个自动评估指标以跟踪未来的进展。我们的任务与常见的 IQ 任务（如类比求解、序列填充）相似，这些任务常用于测试智力。我们开发了一种基于概率推理的方法，利用概率常识知识以合理的准确率解答这些谜题。我们通过自动和人工评估展示了我们方法的结果。我们的方法为这些谜题取得了一些有前景的结果，并为未来的尝试提供了强有力的基线。我们使整个数据集和相关材料在 ImageRiddle 网站 (http://bit.ly/22f9Ala) 上公开可用。
引用
@article{arxiv.1611.05896,
title = {Answering Image Riddles using Vision and Reasoning through Probabilistic Soft Logic},
author = {Somak Aditya and Yezhou Yang and Chitta Baral and Yiannis Aloimonos},
journal= {arXiv preprint arXiv:1611.05896},
year = {2016}
}
备注
14 pages, 10 figures