以图像为枢纽的高效中文 Stable Diffusion 跨语言迁移
计算机视觉与模式识别
2023-05-22 v1 计算与语言
摘要
扩散模型在文本到图像合成方面取得了令人印象深刻的进展。然而，从头训练此类大规模模型（如 Stable Diffusion）需要高昂的计算成本与海量高质量文本-图像对，在其他语言下难以负担。为应对该挑战，我们提出 IAP，一种将英文 Stable Diffusion 迁移至中文的简单而有效的方法。IAP 仅优化一个独立的中文文本编码器，固定所有其他参数，以在 CLIP 中将中文语义空间对齐至英文语义空间。为此，我们创新性地以图像作为枢纽，并最小化图像与每种语言分别通过交叉注意力所产生的注意力特征之间的距离。以此方式，IAP 在 CLIP 的嵌入空间中高效建立了中文、英文与视觉语义的关联，提升了直接使用中文提示所生成图像的质量。实验结果表明，我们的方法仅用 5%~10% 的训练数据便优于多个强中文扩散模型。
引用
@article{arxiv.2305.11540,
title = {Efficient Cross-Lingual Transfer for Chinese Stable Diffusion with Images as Pivots},
author = {Jinyi Hu and Xu Han and Xiaoyuan Yi and Yutong Chen and Wenhao Li and Zhiyuan Liu and Maosong Sun},
journal= {arXiv preprint arXiv:2305.11540},
year = {2023}
}