TIDE：通过目标指令扩散增强实现主体驱动图像生成的平衡
计算机视觉与模式识别
2025-09-19 v2
摘要
主体驱动图像生成 (SDIG) 旨在在遵循文本指令的同时操控图像中的特定主体，这是推进文本到图像扩散模型的关键任务。SDIG 需要在保持主体身份与遵从动态编辑指令之间进行调和，这一挑战在现有方法中尚未得到充分解决。本文引入 Target-Instructed Diffusion Enhancing (TIDE) 框架，通过目标监督和偏好学习来解决这一矛盾，而无需测试时微调。TIDE pioneering 了目标监督的三元组对齐，构建主体适应性动态的 (参考图像、指令、目标图像) 三元组。该方法利用 Direct Subject Diffusion (DSD) 目标，采用配对的 "获胜" (平衡保护-合规) 和 "失败" (失真) 目标进行训练，经定量指标系统生成和评估。这实现了对最佳保护-合规平衡的隐式奖励建模。实验结果表明，TIDE 在标准基准测试上在生成主体忠实输出同时保持指令合规方面表现优异，超过了基线方法在多个定量指标上的表现。TIDE 的多样性进一步通过成功应用于结构条件生成、图像到图像生成和文本-图像插值等多种任务得到证明。我们的代码已公开于 https://github.com/KomJay520/TIDE。
引用
@article{arxiv.2509.06499,
title = {TIDE: Achieving Balanced Subject-Driven Image Generation via Target-Instructed Diffusion Enhancement},
author = {Jibai Lin and Bo Ma and Yating Yang and Xi Zhou and Rong Ma and Turghun Osman and Ahtamjan Ahmat and Rui Dong and Lei Wang},
journal= {arXiv preprint arXiv:2509.06499},
year = {2025}
}