否定的视觉表征：基于漫画图像设计的真实世界数据分析

长期以来有一种广泛持有的观点，认为视觉表征（例如照片和插图）不能描绘否定，例如无法用“火车没有来”这样的句子所表达的否定。通过分析漫画（manga）插图的真实世界视觉表征，这一经验性观点受到了挑战。在采用图像字幕任务的实验中，我们向人们展示漫画插图，并要求他们解释从中能读出什么。收集的数据表明，一些漫画插图无需任何序列（多格面板）或常规手段（特殊符号）的辅助即可描绘否定。这类漫画插图被进一步用于实验，将图像分类为包含否定的图像与不包含否定的图像。虽然这种图像分类对人类而言很容易，但数据驱动的机器，即深度学习模型（CNN），难以达到同样高的性能。基于这些发现，我们认为一些漫画插图能唤起背景知识，从而可以仅凭视觉元素描绘否定。