时尚描述生成：面向基于语义奖励的准确描述生成
计算机视觉与模式识别
2022-04-26 v2
摘要
为在线时尚商品生成准确描述，不仅有助于提升顾客的购物体验，也能促进线上销售额的增长。除了需要正确呈现商品属性外，以迷人风格进行表达更能吸引顾客兴趣。本工作的目标是开发一种新颖的学习框架，用于准确且富有表现力的时尚描述生成。与流行的图像描述生成工作不同，识别和描述时尚商品丰富的属性十分困难。我们通过首先识别商品属性来为其描述播种，并引入属性级语义（ALS）奖励和句子级语义（SLS）奖励作为指标，以提升文本描述的质量。我们进一步将模型的训练与最大似然估计（MLE）、属性嵌入以及强化学习（RL）相整合。为便于学习，我们构建了一个新的时尚描述数据集（FACAD），包含 993K 张图像和 130K 条相应的迷人且多样的描述。在 FACAD 上的实验证明了我们模型的有效性。
引用
@article{arxiv.2008.02693,
title = {Fashion Captioning: Towards Generating Accurate Descriptions with Semantic Rewards},
author = {Xuewen Yang and Heming Zhang and Di Jin and Yingru Liu and Chi-Hao Wu and Jianchao Tan and Dongliang Xie and Jue Wang and Xin Wang},
journal= {arXiv preprint arXiv:2008.02693},
year = {2022}
}
备注
In proceedings of ECCV 2020