ReasonPix2Pix：面向高级图像编辑的指令推理数据集
计算机视觉与模式识别
2024-06-03 v2
摘要
基于指令的数据驱动图像编辑旨在使生成模型能够遵循人类撰写的指令来编辑图像。当前方法通常理解明确且具体的指令，但往往在执行理解不明确或定义不足指令所需的主动推理能力方面存在不足。为增强主动推理能力并为编辑模型赋予智能，我们引入 ReasonPix2Pix，一个全面的推理注意力指令编辑数据集。该数据集具有以下特征：1) 推理指令，2) 来自细粒度类别的更真实图像，3) 输入图像与编辑后图像之间的更大差异。当在我们的数据集上进行监督式微调时，模型在指令编辑任务中表现出优异性能，无论该任务需要推理与否。代码将在 https://github.com/Jin-Ying/ReasonPix2Pix 上提供。
引用
@article{arxiv.2405.11190,
title = {ReasonPix2Pix: Instruction Reasoning Dataset for Advanced Image Editing},
author = {Ying Jin and Pengyang Ling and Xiaoyi Dong and Pan Zhang and Jiaqi Wang and Dahua Lin},
journal= {arXiv preprint arXiv:2405.11190},
year = {2024}
}