薛定谔的蝙蝠：扩散模型有时在叠加态中生成多义词
计算与语言
2022-11-24 v1
摘要
近期研究表明，尽管诸如DALL-E 2 (Ramesh et al., 2022)之类的文本到图像扩散模型能力惊人，但当提示包含具有多种可能含义的词语时，它们会表现出奇怪的行为，常生成同时包含该词两种含义的图像(Rassin et al., 2022)。本文旨在为这一现象提出一种可能的解释。使用类似的Stable Diffusion模型(Rombach et al., 2022)，我们首先表明，当给定两个不同词语编码之和的输入时，模型可生成包含该和中两种概念的图像。我们随后证明，用于编码提示的CLIP编码器(Radford et al., 2021)将多义词编码为含义的叠加，并且使用线性代数技术我们可以编辑这些表示以影响生成图像中所代表的含义。结合这两点发现，我们推测Rassin et al. (2022)描述的同形异义重复现象是由扩散模型生成代表多义词编码中叠加存在的两种含义的图像所引起的。
引用
@article{arxiv.2211.13095,
title = {Schr\"{o}dinger's Bat: Diffusion Models Sometimes Generate Polysemous Words in Superposition},
author = {Jennifer C. White and Ryan Cotterell},
journal= {arXiv preprint arXiv:2211.13095},
year = {2022}
}