通过共同创作绘画与交互解释 CLIP
人工智能
2023-06-14 v1 计算机视觉与模式识别
计算机与社会
摘要
本文分析了一个交互式机器人艺术装置所产生的绘画视觉档案，在该装置中，观众向由 CLIPdraw 深度学习（DL）模型驱动的系统讲述自己的梦境，该系统将梦境解释并转化为图像。所产生的提示-图像对档案根据概念表征准确性进行了检验与聚类。作为分析的结果，本文提出了四类用于描述和解释 CLIP 生成结果的群组：清晰概念、文本到文本作为图像、不确定性与混淆，以及翻译丢失。本文 glimpses 一组由人工智能（AI）解释、中介并赋予形态的梦境收藏，展示了系统时常出人意料、视觉上引人注目或确具梦境特质的输出，重点在于语言、符号系统及装置各模块之间翻译的过程与结果。最后，本文主张所提出的聚类有助于更好地理解该神经模型。
引用
@article{arxiv.2306.07429,
title = {Explaining CLIP through Co-Creative Drawings and Interaction},
author = {Varvara Guljajeva and Mar Canet Solà and Isaac Joseph Clarke},
journal= {arXiv preprint arXiv:2306.07429},
year = {2023}
}