基于人类反馈的虚拟试穿参考免费图像质量评估
计算机视觉与模式识别
2026-03-16 v1
摘要
给定人物图像和服装图像，基于图像的虚拟试穿（VTON）合成人物穿着目标服装的试穿图像。随着VTON系统在时尚电商等实际应用中日益重要，对其输出的可靠评估已成为关键挑战。在现实场景中，通常无法获得同一人物穿着目标服装的真实图像，使得基于参考的评估在实际中不可行。此外，广泛使用的分布级指标如F\'{r}ehet Inception Distance和Kernel Inception Distance衡量数据集级相似性，无法反映单个生成图像的感知质量。为解决这些限制，我们提出了虚拟试穿图像质量评估（VTON-IQA），一个无参考的人类对齐、图像级质量评估框架，不需要真实图像。为建模人类感知判断，我们构建了VTON-QBench，一个大型的人工标注基准数据集，包含62,688张由14个代表性VTON模型生成的试穿图像，以及431,800个来自13,838名合格标注员的质量注释。据我们所知，这是目前规模最大、用于虚拟试穿人主观评估的数据集。评估虚拟试穿质量需要验证服装忠诚度以及人物特定细节的保留情况。为显式建模此类交互，我们引入了交错交叉注意力模块（Interleaved Cross-Attention），其扩展了标准Transformer块，通过在后续块中插入交叉注意力层来实现。大量实验表明，VTON-IQA能够可靠地进行人类对齐的图像级质量预测。此外，我们对14个代表性VTON模型进行了全面的基准评估。
引用
@article{arxiv.2603.13057,
title = {Reference-Free Image Quality Assessment for Virtual Try-On via Human Feedback},
author = {Yuki Hirakawa and Takashi Wada and Ryotaro Shimizu and Takuya Furusawa and Yuki Saito and Ryosuke Araki and Tianwei Chen and Fan Mo and Yoshimitsu Aoki},
journal= {arXiv preprint arXiv:2603.13057},
year = {2026}
}