基于扩散模型的细粒度外观迁移

Yuteng Ye; Guanwen Li; Hang Zhou; Cai Jiale; Junqing Yu; Yawei Luo; Zikai Song; Qilong Xing; Youjia Zhang; Wei Yang

基于扩散模型的细粒度外观迁移

计算机视觉与模式识别 2023-11-29 v1

作者: Yuteng Ye , Guanwen Li , Hang Zhou , Cai Jiale , Junqing Yu , Yawei Luo , Zikai Song , Qilong Xing , Youjia Zhang , Wei Yang

在 arXiv 上查看 ↗ PDF ↗

摘要

图像到图像翻译（I2I），尤其是其寻求在保持结构一致的同时改变图像间视觉外观的子领域外观迁移，提出了艰巨挑战。尽管扩散模型带来了显著进展，实现细粒度迁移仍很复杂，尤其在保留详细结构元素与确保信息保真方面。本文提出一种创新框架，旨在通过整合语义匹配、外观迁移与潜变量偏差的各个方面来克服这些挑战。我们方法的关键方面是策略性地利用扩散模型在扩散过程潜空间内预测的 $x_0$ 空间。这被确定为精确且自然迁移细粒度细节的关键要素。我们的框架利用该空间实现源图像与目标图像间的语义对齐，促进掩码级外观迁移以改善特征获取。我们方法的一大进展是这些特征向潜空间的无缝整合，使得更细微的潜变量偏差成为可能，而无需大量模型重训练或微调。我们方法的有效性通过大量实验得以证明，其展示了跨广泛类别与领域熟练处理细粒度外观迁移的能力。我们的代码见 https://github.com/babahui/Fine-grained-Appearance-Transfer

关键词

图像到图像翻译外观迁移扩散模型语义对齐潜变量偏差细粒度细节

引用

@article{arxiv.2311.16513,
  title  = {Fine-grained Appearance Transfer with Diffusion Models},
  author = {Yuteng Ye and Guanwen Li and Hang Zhou and Cai Jiale and Junqing Yu and Yawei Luo and Zikai Song and Qilong Xing and Youjia Zhang and Wei Yang},
  journal= {arXiv preprint arXiv:2311.16513},
  year   = {2023}
}

备注

14 pages, 15 figures

基于扩散模型的细粒度外观迁移

摘要

关键词

引用

备注

相关论文