基于多轮自然语言反馈的对话式时尚图像检索
计算机视觉与模式识别
2021-06-09 v1 信息检索
摘要
我们研究了基于多轮自然语言反馈的对话式时尚图像检索任务。以往的研究大多基于单轮设定。现有的多轮对话式时尚图像检索模型存在局限性,例如采用传统模型,导致性能不佳。我们提出了一种新颖的框架,能够有效处理带有多轮自然语言反馈文本的对话式时尚图像检索。该框架的一个特点是,它基于参考图像与反馈文本信息以及对话历史的联合编码来搜索候选图像。此外,通过互注意力策略利用了图像时尚属性信息。由于现有时尚数据集均不适用于我们任务的多轮设定,我们在现有单轮数据集上通过额外人工标注工作构建了一个大规模多轮时尚数据集。实验表明,我们提出的模型显著优于现有的最先进方法。
引用
@article{arxiv.2106.04128,
title = {Conversational Fashion Image Retrieval via Multiturn Natural Language Feedback},
author = {Yifei Yuan and Wai Lam},
journal= {arXiv preprint arXiv:2106.04128},
year = {2021}
}
备注
Accepted by SIGIR 2021