面向购物网站多任务图像缺陷校正的分层条件半配对图像到图像翻译
计算机视觉与模式识别
2023-09-13 v1 机器学习
摘要
在购物网站上，低质量的产品图像会对客户体验产生负面影响。尽管已有大量工作用于检测具有不同缺陷的图像，但很少有研究致力于大规模校正这些缺陷。一个主要挑战在于产品类型成千上万，且每种类型都有特定的缺陷，因此构建针对特定缺陷的模型是不可扩展的。本文提出一种统一的图像到图像（I2I）翻译模型，用于校正不同产品类型中的多种缺陷。我们的模型利用注意力机制，分层地融入高层缺陷组别与具体缺陷类型，以引导网络聚焦于缺陷相关的图像区域。在八个公开数据集上的评估表明，与最先进的 I2I 方法 MoNCE 相比，我们的模型平均将 Frechet Inception Distance（FID）降低了 24.6%。与公开数据不同，购物网站上的另一个实际挑战是部分配对图像质量较低。因此，我们将模型设计为半配对形式，将配对数据的 L1 损失与非配对数据的循环损失相结合。在一个用于校正三种图像缺陷的购物网站数据集上测试时，与最先进的半配对 I2I 方法 WS-I2I 相比，我们的模型平均将 FID 降低了 63.2%。
引用
@article{arxiv.2309.05883,
title = {Hierarchical Conditional Semi-Paired Image-to-Image Translation For Multi-Task Image Defect Correction On Shopping Websites},
author = {Moyan Li and Jinmiao Fu and Shaoyuan Xu and Huidong Liu and Jia Liu and Bryan Wang},
journal= {arXiv preprint arXiv:2309.05883},
year = {2023}
}
备注
6 pages, 6 figures, 3 tables. To be published in ICIP 2023