CLPIPS：用于 AI 生成图像相似性的个人化度量
计算机视觉与模式识别
2026-04-03 v1 人工智能
图像与视频处理
摘要
迭代提示优化是文本到图像生成模型中复制目标图像的核心。以往研究将图像相似性度量（ISM）作为额外反馈纳入人类用户。现有 ISM 如 LPIPS 和 CLIP 提供客观的图像相似性度量，但常常难以与人类判断一致，尤其是在特定情境或由用户驱动的任务中。本文引入定制化学习感知图像块相似性（Customized Learned Perceptual Image Patch Similarity, CLPIPS），这是一种对 LPIPS 的定制化扩展，通过直接适配人类判断来调整相似性概念。我们旨在探讨轻量级、人类增强的微调是否能在感知对齐方面产生实质性提升，将相似性度量置于人类在环工作流程中的自适应组件。我们在包含人类主体的数据集上评估 CLPIPS，数据集中参与者不断重新生成目标图像并对生成输出按感知相似性进行排序。我们对人类排名的图像对使用边际排名损失进行微调，只调整 LPIPS 层组合权重，并通过斯佩曼等相关系数和类间相关系数进行评估。我们的结果表明，CLPIPS 在与人类判断的相关性和一致性方面优于基线 LPIPS。虽然我们的工作强调优化度量的绝对性能，但我们更关注度量预测与人类排名之间的对齐一致性，表明即便有限的人类特定微调也能在人类在环文本到图像工作流程中显著提升感知对齐。
引用
@article{arxiv.2604.01234,
title = {CLPIPS: A Personalized Metric for AI-Generated Image Similarity},
author = {Khoi Trinh and Jay Rothenberger and Scott Seidenberger and Dimitrios Diochnos and Anindya Maiti},
journal= {arXiv preprint arXiv:2604.01234},
year = {2026}
}