绘你所艺梦：基于多模态引导扩散的多样数字艺术合成
计算机视觉与模式识别
2022-09-29 v2
摘要
数字艺术合成因能有效地让公众参与艺术而在多媒体界受到越来越多的关注。当前数字艺术合成方法通常使用单模态输入作为引导，从而限制了模型的表达力与生成结果的多样性。为解决此问题，我们提出多模态引导艺术品扩散(multimodal guided artwork diffusion, MGAD)模型，这是一种基于扩散的数字艺术品生成方法，利用多模态提示作为引导来控制无分类器扩散模型。此外，对比语言-图像预训练(CLIP)模型被用于统一文本与图像模态。在生成数字艺术画作的质量与数量方面的广泛实验结果，证实了扩散模型与多模态引导结合的有效性。代码见 https://github.com/haha-lisa/MGAD-multimodal-guided-artwork-diffusion。
引用
@article{arxiv.2209.13360,
title = {Draw Your Art Dream: Diverse Digital Art Synthesis with Multimodal Guided Diffusion},
author = {Nisha Huang and Fan Tang and Weiming Dong and Changsheng Xu},
journal= {arXiv preprint arXiv:2209.13360},
year = {2022}
}
备注
Accepted by ACM MM 2022