用于艺术生成的扩散创意探索
计算机视觉与模式识别
2023-07-12 v1
摘要
跨模态学习任务近年来进展迅速。由于在多样领域的丰富应用，利用多模态数据生成新颖内容一直是个具有挑战性的问题。为此，已提出多种针对特定任务的生成建模技术。新颖且富有创意的图像生成是工业应用的一个重要方面，可成为新颖内容生成的助力。先前提出的技术使用生成对抗网络（GAN）、自回归模型与变分自编码器（VAE）来完成类似任务。这些方法在生成受文本指令或粗略草图图像引导的图像方面能力有限，降低了图像生成器的整体性能。我们采用最先进的扩散模型，主要通过利用文本并辅以粗略草图来生成创意艺术。扩散从随机点图案开始，并利用输入模型的引导信息将该图案缓慢转换为设计图像。扩散模型近来在以跨模态数据作为引导信息的图像生成任务中表现优于其他生成模型。该新颖图像生成任务的初步实验展示了有前景的定性结果。
引用
@article{arxiv.2307.04978,
title = {Diffusion idea exploration for art generation},
author = {Nikhil Verma},
journal= {arXiv preprint arXiv:2307.04978},
year = {2023}
}
备注
Report Submitted for degree completion of Master of Science in Applied Computing at University of Toronto