分析语言与视觉在有限数据学习中的作用

语言是否有助于理解视觉世界？实际观察世界与用文字描述世界相比有多重要？这些关于智能本质的基本问题一直难以回答，因为我们只有一个智能系统的例子——人类——且接触孤立语言或视觉案例的机会有限。然而，人工智能研究人员开发的复杂视觉语言模型为我们探索语言和视觉对学习世界的贡献提供了新机遇。我们消融这些模型认知架构中的组件，以确定它们对从有限数据中学习新任务的贡献。我们发现，利用所有组件的语言模型尽管缺乏视觉输入，仍能恢复 VLM 的大部分性能，而语言似乎通过提供对先验知识和推理的访问来实现这一点。