IE-Bench：面向人类感知对齐的文本驱动图像编辑评估
计算机视觉与模式识别
2025-01-20 v1 人工智能
摘要
近期文本驱动图像编辑取得了显著进展，但准确评估这些编辑后图像的任务仍然是一个相当大的挑战。不同于文本驱动图像生成的评估，文本驱动图像编辑的特点是同时以文本和源图像为条件。编辑后的图像常常保留与原始图像的内在联系，这种联系会随文本语义的变化而动态变化。然而，先前的方法往往仅关注文本图像对齐，或未与人类感知对齐。本文我们引入文本驱动图像编辑基准套件（IE-Bench），以增强对文本驱动编辑后图像的评估。IE-Bench 包括一个包含多样化源图像、各种编辑提示及其对应不同编辑方法的结果的数据库，以及由25名人类主观评估者提供的3010个平均意见分数（Mean Opinion Scores, MOS）。此外，我们引入了IE-QA，一种用于文本驱动图像编辑的多模态源感知质量评估方法。据我们所知，IE-Bench 是首个为文本驱动图像编辑提供的IQA数据集和模型。大量实验表明，IE-QA 在文本驱动图像编辑任务上优于先前的度量标准。我们将公开所有相关数据和代码。
引用
@article{arxiv.2501.09927,
title = {IE-Bench: Advancing the Measurement of Text-Driven Image Editing for Human Perception Alignment},
author = {Shangkun Sun and Bowen Qu and Xiaoyu Liang and Songlin Fan and Wei Gao},
journal= {arXiv preprint arXiv:2501.09927},
year = {2025}
}