ByteEdit：提升、遵循与加速生成式图像编辑
计算机视觉与模式识别
2024-04-09 v1
摘要
基于扩散的生成式图像编辑的最新进展引发了一场深刻的革命，重塑了图像外扩和修复任务的格局。尽管取得了这些进展，该领域仍面临固有挑战，包括：i) 质量低下；ii) 一致性差；iii) 指令遵循不足；iv) 生成效率欠佳。为应对这些障碍，我们提出了ByteEdit，一个创新的反馈学习框架，精心设计用于提升、遵循和加速生成式图像编辑任务。ByteEdit无缝集成了用于增强美学和图像-文本对齐的图像奖励模型，同时引入了一个密集的像素级奖励模型，旨在促进输出的连贯性。此外，我们提出了一种开创性的对抗性和渐进式反馈学习策略，以加速模型的推理速度。通过大规模用户评估，我们证明ByteEdit在生成质量和一致性方面超越了领先的生成式图像编辑产品，包括Adobe、Canva和MeiTu。与基线模型相比，ByteEdit-Outpainting在质量和一致性上分别实现了388%和135%的显著提升。实验还验证了我们的加速模型在质量和一致性方面保持了优异的性能结果。
引用
@article{arxiv.2404.04860,
title = {ByteEdit: Boost, Comply and Accelerate Generative Image Editing},
author = {Yuxi Ren and Jie Wu and Yanzuo Lu and Huafeng Kuang and Xin Xia and Xionghui Wang and Qianqian Wang and Yixing Zhu and Pan Xie and Shiyin Wang and Xuefeng Xiao and Yitong Wang and Min Zheng and Lean Fu},
journal= {arXiv preprint arXiv:2404.04860},
year = {2024}
}