平衡保留与修改：面向指令驱动图像编辑的区域与语义感知评估指标
图形学
2025-06-18 v1 人工智能
摘要
指令驱动图像编辑旨在根据指令忠实修改图像同时保持无关内容不变，已取得显著进展。然而，目前仍缺乏全面评估编辑质量的指标。现有指标要么需要高昂的人工评估成本，阻碍大规模评估，要么从其他任务适配而来，丢失了任务特定关注点，无法全面评估指令驱动的修改和无关区域的保留，导致评估偏差。为解决这一问题，我们提出了一种新的评估指标——平衡保留与修改（BPM），通过明确将图像解耦为编辑相关区域和无关区域进行针对性考虑来定制用于指令驱动图像编辑。我们首先识别并定位编辑相关区域，随后通过两层流程评估编辑质量：区域感知判断器评估编辑区域的位置和大小是否与指令对齐，语义感知判断器进一步评估编辑相关区域内的指令内容符合度以及无关区域内的内容保留度，从而提供全面且可解释的质量评估。此外，BPM中的编辑相关区域定位可集成到图像编辑方法中，以提升编辑质量，展示了其广泛适用性。我们在全面的指令编辑数据上验证了BPM指标的有效性，结果表明其与人工评估的一致性高于现有指标，表明其有效性。代码可在以下地址获取：https://joyli-x.github.io/BPM/
引用
@article{arxiv.2506.13827,
title = {Balancing Preservation and Modification: A Region and Semantic Aware Metric for Instruction-Based Image Editing},
author = {Zhuoying Li and Zhu Xu and Yuxin Peng and Yang Liu},
journal= {arXiv preprint arXiv:2506.13827},
year = {2025}
}