TurboFill：针对快速图像填充的少步文本到图像模型适配

Liangbin Xie; Daniil Pakhomov; Zhonghao Wang; Zongze Wu; Ziyan Chen; Yuqian Zhou; Haitian Zheng; Zhifei Zhang; Zhe Lin; Jiantao Zhou; Chao Dong

TurboFill：针对快速图像填充的少步文本到图像模型适配

计算机视觉与模式识别 2025-04-02 v1

作者: Liangbin Xie , Daniil Pakhomov , Zhonghao Wang , Zongze Wu , Ziyan Chen , Yuqian Zhou , Haitian Zheng , Zhifei Zhang , Zhe Lin , Jiantao Zhou , Chao Dong

在 arXiv 上查看 ↗ PDF ↗

摘要

本文介绍了 TurboFill，这是一个快速图像填充模型，通过为高质量且高效填充增强少步文本到图像扩散模型，实现了快速图像填充。虽然标准扩散模型能生成高质量结果，但计算成本高昂。我们通过在少步蒸馏文本到图像模型 DMD2 上训练填充适配器，并采用新颖的 3 步对抗训练方案，确保填充区域在逼真、结构一致且视觉和谐。为评估 TurboFill，我们提出了两个基准：DilationBench 测试不同掩码大小下的性能，HumanBench 基于人类反馈评估复杂提示下的表现。实验表明，TurboFill 在性能上优于多步 BrushNet 和少步填充方法，为高性能填充任务树立了新的基准。我们的项目页面：https://liangbinxie.github.io/projects/TurboFill/

关键词

图像填充文本到图像扩散少步模型对抗训练 DilationBench HumanBench

引用

@article{arxiv.2504.00996,
  title  = {TurboFill: Adapting Few-step Text-to-image Model for Fast Image Inpainting},
  author = {Liangbin Xie and Daniil Pakhomov and Zhonghao Wang and Zongze Wu and Ziyan Chen and Yuqian Zhou and Haitian Zheng and Zhifei Zhang and Zhe Lin and Jiantao Zhou and Chao Dong},
  journal= {arXiv preprint arXiv:2504.00996},
  year   = {2025}
}

备注

Project webpage available at https://liangbinxie.github.io/projects/TurboFill/

TurboFill：针对快速图像填充的少步文本到图像模型适配

摘要

关键词

引用

备注

相关论文