ZSCRGAN：一种基于GAN的期望最大化模型用于从文本描述零样本检索图像
计算机视觉与模式识别
2020-09-24 v3 计算与语言
信息检索
机器学习
摘要
大多数现有的跨模态信息检索算法基于有监督的训练-测试设置，其中模型从给定训练集学习将查询模态（如文本）对齐到文档模态（如图像）。此种设置假设训练集包含对所有可能查询类的穷举表示。实际上，检索模型可能需要部署在先前未见的类上，这意味着一种零样本 IR 设置。本文中，我们提出一种新颖的基于 GAN 的零样本文本到图像检索模型。当给定文本描述作为查询时，我们的模型能在零样本设置中检索相关图像。所提模型使用期望最大化框架训练。在多个基准数据集上的实验表明，我们提出的模型轻松优于若干最先进的零样本文本到图像检索模型，以及适当用于检索的零样本分类与哈希模型。
引用
@article{arxiv.2007.12212,
title = {ZSCRGAN: A GAN-based Expectation Maximization Model for Zero-Shot Retrieval of Images from Textual Descriptions},
author = {Anurag Roy and Vinay Kumar Verma and Kripabandhu Ghosh and Saptarshi Ghosh},
journal= {arXiv preprint arXiv:2007.12212},
year = {2020}
}
备注
Accepted in CIKM-2020