一种风格等价于一个代码：基于离散风格空间解锁代码到风格图像生成

创新的视觉风格化是艺术创作的基石，但生成具有新颖性和一致性的视觉风格仍是显著挑战。现有生成方法通常依赖冗长的文本提示、参考图像或参数高效微调来指导风格感知图像生成，但常在风格一致性、创造力受限和复杂风格表示方面受限。本文我们肯定风格等价于一个数值代码，提出新任务，即代码到风格图像生成，该任务仅以数值风格代码为条件，生成具有新颖、一致视觉风格的图像。截至目前，该领域主要由行业（如 Midjourney）探索，学术界尚无开源研究。为填补这一空白，我们提出CoTyle，该方法是该任务的首个开源方法。具体而言，我们首先从图像集合训练离散风格词典表提取风格嵌入。这些嵌入作为文本到图像扩散模型（T2I-DM）的条件，用于生成风格化图像。随后，我们在离散风格嵌入上训练自回归风格生成器以建模其分布，允许合成新颖风格嵌入。在推理期间，数值风格代码由风格生成器映射到唯一的风格嵌入，该嵌入指导T2I-DM生成相应风格中的图像。与现有方法不同，我们的方法提供了卓越的简单性和多样性，开启了从最小输入解锁广泛可复现风格空间的可能。大量实验验证了CoTyle有效地将一个数值代码转化为风格控制器，证明了风格等价于一个代码。