RB-Modulation：使用随机最优控制的扩散模型免训练个性化
机器学习
2024-05-28 v1 计算机视觉与模式识别
机器学习
摘要
我们提出了基于参考的调制 (RB-Modulation)，一种用于扩散模型免训练个性化的新型即插即用解决方案。现有的免训练方法在以下方面存在困难： 在缺乏额外风格或内容文本描述的情况下从参考图像中提取风格； 来自参考风格图像的不需要的内容泄漏； 风格与内容的有效组合。RB-Modulation 构建于一个新颖的随机最优控制器之上，其中风格描述器通过终端代价编码所需属性。由此产生的漂移不仅克服了上述困难，还确保了对参考风格的高保真度并遵循给定的文本提示。我们还引入了一种基于交叉注意力的特征聚合方案，使 RB-Modulation 能够从参考图像中解耦内容和风格。凭借理论论证和经验证据，我们的框架展示了以免训练方式对内容和风格进行精确提取和控制。此外，我们的方法允许内容和风格的无缝组合，这标志着摆脱了对外部适配器或 ControlNets 的依赖。
引用
@article{arxiv.2405.17401,
title = {RB-Modulation: Training-Free Personalization of Diffusion Models using Stochastic Optimal Control},
author = {Litu Rout and Yujia Chen and Nataniel Ruiz and Abhishek Kumar and Constantine Caramanis and Sanjay Shakkottai and Wen-Sheng Chu},
journal= {arXiv preprint arXiv:2405.17401},
year = {2024}
}
备注
Preprint. Under review