COLUMBUS：通过多选式谜语评估认知侧向理解

虽然视觉问答（VQA）基准测试已催化了推理技术的发展，但它们关注的是垂直思维。有效的问题解决还需要侧向思维，而在人工智能领域，这一方面仍受到 insufficient 研究且尚未用于测试视觉感知系统。为弥合这一差距，我们将视觉侧向思维形式化为一个多选问答任务，并描述了一个基于三步分类驱动的方法论，用于实例化任务示例。随后，我们开发了 COLUMBUS，一个合成基准测试，将该任务管道应用于创建包含文本和图标谜语的问答数据集，这些谜语基于公开可用的化合物和常见短语集合。COLUMBUS 包含超过 1000 个谜语，每个谜语都有四个答案选项。虽然最先进的视觉语言模型（VLMs）取得了相当好的性能，但我们的评估显示了人类与模型之间存在显著的差距。VLMs 从人类精选的描述中受益，但在自我生成此类表示且保持恰当抽象层次方面仍感到困难。