基于得分蒸馏生成低分辨率量化图像的 SD-$\pi$XL

低分辨率量化图像（如像素艺术）正在以现代应用（如视频游戏图形、数字设计和制造）中的创意复兴，其中创意往往受限于元素单元的有限调色板。尽管存在不断增长的流行度，但从原始输入自动生成量化图像仍是一个显著挑战，常需大量手动输入。我们提出了 SD-$\pi$XL 方法，通过得分蒸馏采样结合可微分图像生成器来生成量化图像。该方法允许用户输入提示，可选输入图像进行空间条件控制，设置任意期望的输出尺寸 $H \times W$，并选择 $n$ 种颜色或元素。每个颜色对应我们的生成器的不同类别，后者 operates on $H \times W \times n$ 张量。我们采用 softmax 方法，计算元素的凸组合，从而使过程可微并可通过反向传播实现。我们表明，采用 Gumbel-softmax 重参数化可实现清晰的像素艺术效果。独特之处在于，我们的方法能够将输入图像转换为低分辨率、量化版本，同时保留其关键语义特征。我们的实验验证了 SD-$\pi$XL 在创建视觉上愉悦且忠实于原作的表征方面的性能，始终优于当前最先进的方法。此外，我们展示了 SD-$\pi$XL 在制造领域的实际应用，包括拼接砖瓦马赛克、珠饰和刺绣设计。