LEDITS++：基于文本到图像模型的无限制图像编辑
计算机视觉与模式识别
2024-06-27 v2 人工智能
人机交互
机器学习
摘要
文本到图像扩散模型近来因其仅从文本输入即可生成高保真图像的惊人能力而受到越来越多的关注。后续研究工作旨在利用并将其能力应用于真实图像编辑。然而，现有的图像到图像方法往往效率低下、不精确且通用性有限。它们要么需要耗时的微调，要么不必要地严重偏离输入图像，和/或缺乏对多个同时编辑的支持。为解决这些问题，我们引入LEDITS++，一种高效且通用、精确的图像文本操控技术。LEDITS++的新型反演方法无需调优或优化，并以少量扩散步数产生高保真结果。其次，我们的方法支持多个同时编辑且与架构无关。第三，我们使用一种新颖的隐式掩码技术，将变化限制在相关图像区域。作为详尽评估的一部分，我们提出了新颖的TEdBench++基准。我们的结果展示了LEDITS++的能力及其相对于先前方法的改进。
引用
@article{arxiv.2311.16711,
title = {LEDITS++: Limitless Image Editing using Text-to-Image Models},
author = {Manuel Brack and Felix Friedrich and Katharina Kornmeier and Linoy Tsaban and Patrick Schramowski and Kristian Kersting and Apolinário Passos},
journal= {arXiv preprint arXiv:2311.16711},
year = {2024}
}
备注
Proceedings of the 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) The project page is available at https://leditsplusplus-project.static.hf.space