DALL-E 2 组合性句法与语义的比较研究
计算与语言
2024-03-20 v1
摘要
本研究比较了 DALL-E 2 在视觉上呈现语言提示含义的能力，这些提示同样用于幼儿理解测试。我们从数百名 2-7 岁英语儿童的评估测试中选取了代表语法知识基本成分的句子，并收集了原始项目级数据。DALL-E 2 接收这些提示五次，为每个项目生成 20 幅卡通画，由 9 名成人评委评分。结果显示，在任何条件下，DALL-E 2 生成的图像在语义准确性上都无法与儿童匹配，即使是最低年龄组（2 岁）。DALL-E 2 未能为可逆形式分配合适的角色；尽管提示比儿童接受的更具对比性，它仍无法处理否定；它常将形容词分配给错误的名词；它忽略了被动语态中的隐含施事。这项工作表明 DALL-E 2 明显缺乏组合性的句子表征。
引用
@article{arxiv.2403.12294,
title = {A Comparative Investigation of Compositional Syntax and Semantics in DALL-E 2},
author = {Elliot Murphy and Jill de Villiers and Sofia Lucero Morales},
journal= {arXiv preprint arXiv:2403.12294},
year = {2024}
}