基于部分共享U-Net联合数据填充的高效多模态扩散模型
计算机视觉与模式识别
2023-11-29 v1 人工智能
摘要
近来，扩散模型已成功用于拟合跨模态数据转换与多模态数据生成的分布。然而，这些方法依赖大规模扩展，忽视了模态间效率低下与相互干扰的问题。我们开发了部分共享U-Net（PS-U-Net）架构，这是一种高效多模态扩散模型，允许文本与图像输入通过专用层与跳跃连接以保留模态特定的细粒度细节。受图像修复启发，我们还提出一种高效多模态采样新方法，在仅需学习简单联合分布的同时，为条件生成引入新场景。我们在MS-COCO数据集上的实证探索表明，与现有多模态扩散模型相比，我们的方法以相当规模生成更高质量的多模态文本与图像数据，且训练更快、多模态采样更快、生成更灵活。
引用
@article{arxiv.2311.16488,
title = {Efficient Multimodal Diffusion Models Using Joint Data Infilling with Partially Shared U-Net},
author = {Zizhao Hu and Shaochong Jia and Mohammad Rostami},
journal= {arXiv preprint arXiv:2311.16488},
year = {2023}
}