基于人类反馈和产品一致性的产品图像背景填充评估框架
计算机视觉与模式识别
2024-12-25 v2 人工智能
摘要
在产品广告应用中，利用 AI 技术对产品图像的自动背景填充已成为重要任务。然而，这些技术仍存在背景不当、生成产品图像中产品不一致等问题，而现有方法评估生成产品图像质量大多与人类反馈不一致，导致该任务的评估依赖人工标注。为缓解上述问题，本文提出了人类反馈与产品一致性（HFPC），可基于两个模块自动评估生成的产品图像质量。首先，收集了 44,000 条自动填充产品图像的人类反馈，以训练基于 BLIP 提取的多模态特征和比较学习的奖励模型。其次，采用微调的分割模型对原始和生成产品图像中的产品进行分割，然后比较两者之间的差异。大量实验表明，HFPC 能有效评估生成产品图像的质量，显著减少人工标注成本。此外，HFPC 在与其他开源视觉质量评估模型进行比较时实现了最先进成绩（精度达96.4%）。数据集和代码已发布于 https://github.com/created-Bi/background_inpainting_products_dataset。
引用
@article{arxiv.2412.17504,
title = {An Evaluation Framework for Product Images Background Inpainting based on Human Feedback and Product Consistency},
author = {Yuqi Liang and Jun Luo and Xiaoxi Guo and Jianqi Bi},
journal= {arXiv preprint arXiv:2412.17504},
year = {2024}
}
备注
accepted by AAAI2025