基于扩散模型的认知启发式跨模态数据生成
机器学习
2023-05-31 v1 计算机视觉与模式识别
摘要
现有大多数基于扩散模型的跨模态生成方法使用引导来提供对潜空间的控制,以实现跨不同模态的条件生成。此类方法侧重于通过分别训练的模型(每个模态一个)提供引导。因此,这些方法存在跨模态信息丢失问题,且仅限于单向条件生成。受人类同步获取多模态信息并学习模态间关联的启发,我们探索了一种多模态扩散模型训练与采样方案,该方案利用通道级图像条件在训练阶段学习跨模态关联,以更好地模拟大脑中的学习过程。我们的实证结果表明,我们的方法能够实现以所有相关模态为条件的数据生成。
引用
@article{arxiv.2305.18433,
title = {Cognitively Inspired Cross-Modal Data Generation Using Diffusion Models},
author = {Zizhao Hu and Mohammad Rostami},
journal= {arXiv preprint arXiv:2305.18433},
year = {2023}
}