中文

PixLens:基于目标检测 + SAM 的扩散图像编辑 disentangled 评估新框架

计算机视觉与模式识别 2024-10-10 v1 人工智能

摘要

评估扩散基图像编辑模型是生成式 AI 领域的关键任务。具体而言,需要评估其在保持图像内容和真实性的前提下执行多样化编辑任务的能力。尽管最新的生成模型开创了前所未有的图像编辑可能性,但对这些模型进行全面评估仍然具有挑战性且尚未解决。由于缺乏标准化评估基准(主要due to 编辑后参考图像评估的内在需求),这一问题进一步复杂化。当前评估常依赖 CLIP 等既定模型,或需依赖人工干预以全面理解这些图像编辑模型的性能。我们的基准 PixLens 提供了对 edit quality 与潜在表示 disentanglement 的全面评估,推动了该领域现有方法的进步与完善。

关键词

引用

@article{arxiv.2410.05710,
  title  = {PixLens: A Novel Framework for Disentangled Evaluation in Diffusion-Based Image Editing with Object Detection + SAM},
  author = {Stefan Stefanache and Lluís Pastor Pérez and Julen Costa Watanabe and Ernesto Sanchez Tejedor and Thomas Hofmann and Enis Simsar},
  journal= {arXiv preprint arXiv:2410.05710},
  year   = {2024}
}

备注

35 pages (17 main paper, 18 appendix), 22 figures