红方块大吗？MALeViC：利用视觉上下文建模形容词

本工作旨在建模尺寸等级形容词（‘大’、‘小’）的意义如何能从视觉接地上下文中习得。受认知与语言学证据启发——表明这些表达的使用依赖于设定依赖于特定上下文的阈值——我们考察多模态模型在给定视觉场景中判断一个物体是‘大’还是‘小’的能力。与将等级形容词简单视为‘固定’属性的标准计算方式不同，我们将该问题表述为关系性的：要成功，模型必须考虑完整的视觉上下文。通过四项主要任务，我们表明最先进的模型（而非一个相对强的基线）能够学习支撑尺寸形容词意义的函数，尽管其性能在从简单到更复杂任务时下降。关键的是，模型未能发展出可用于组合表达的等级形容词的抽象表征。