桥接扩散模型：以桥接结构联通中文文本到图像扩散模型与英文社区
计算与语言
2026-03-19 v2 人工智能
摘要
文本到图像生成（TTI）技术正在快速发展，尤其在英语语言社区中。然而，除了用户输入的语言障碍问题外，以英语为母语的 TTI 模型从其以英语世界为中心的训练数据中天然带有偏见，这给其他语言原生 TTI 模型的发展带来了困境。一种常见选择是用翻译样本微调英语原生 TTI 模型，但这不足以完全解决模型偏见问题。或者，从零开始训练非英语语言原生模型可有效解决英语世界偏见，但如此训练的模型会偏离英语 TTI 社区，从而无法再利用英语 TTI 社区中持续取得的进展。为构建中文 TTI 模型同时保持与英语 TTI 社区的兼容性，我们提出了一种称为“桥接扩散模型”（BDM）的新型模型结构。所提出的 BDM 采用主干-分支网络结构，以端到端方式学习中文语义，同时保持潜空间与英语原生 TTI 主干兼容。所提 BDM 的独特优势在于，它不仅擅长生成精确描绘中文语义的图像，还兼容各类英语原生 TTI 插件，如不同检查点、LoRA、ControlNet、Dreambooth 和 Textual Inversion 等。此外，BDM 能在单张图像中同时无缝生成结合中文原生与英文原生语义的内容，促进文化交互。
引用
@article{arxiv.2309.00952,
title = {Bridge Diffusion Model: Bridge Chinese Text-to-Image Diffusion Model with English Communities},
author = {Shanyuan Liu and Bo Cheng and Yuhang Ma and Liebucha Wu and Ao Ma and Xiaoyu Wu and Dawei Leng and Yuhui Yin},
journal= {arXiv preprint arXiv:2309.00952},
year = {2026}
}
备注
Accepted as Oral at AAAI 2025. 8 pages, 5 figures. Published in Proceedings of the 39th AAAI Conference on Artificial Intelligence. Code: https://github.com/360CVGroup/Bridge_Diffusion_Model