文本引导图像生成中的关系理解测试
计算机视觉与模式识别
2022-08-02 v1 人工智能
机器学习
摘要
关系是人类认知的基本构成单元。经典与近期研究表明，许多关系在发育早期即出现并被快速感知。旨在达到人类水平感知与推理的机器模型应体现识别和生成式推理关系的能力。我们报告了对近期文本引导图像生成模型(DALL-E 2)的系统性实证检验，使用文献中研究或提出的15种基本物理与社会关系集合，以及人类参与者(N = 169)的判断。总体而言，我们发现仅约22%的图像与基本关系提示匹配。基于对人类判断的定量考察，我们认为当前图像生成模型甚至尚未掌握涉及简单物体与主体的基本关系。我们考察了模型成功与失败的原因，并基于生物智能中观察到的计算提出可能的改进方向。
引用
@article{arxiv.2208.00005,
title = {Testing Relational Understanding in Text-Guided Image Generation},
author = {Colin Conwell and Tomer Ullman},
journal= {arXiv preprint arXiv:2208.00005},
year = {2022}
}