极少监督数据下的图像描述生成：对抗半监督学习方法
计算机视觉与模式识别
2019-11-22 v2 计算与语言
摘要
构建由大量图像及每幅图像若干描述组成的有组织数据集是一项费力任务，需要巨大的人力。另一方面，分别收集大量图像与句子可能极为容易。本文中，我们开发了一种新颖的数据高效半监督框架用于训练图像描述生成模型。我们通过学习关联大规模未配对的图像与描述数据来利用它们。为此，我们提出的半监督学习方法经由生成对抗网络（GAN）为未配对样本分配伪标签，以学习图像与描述之间的联合分布。为评估，我们构建了 scarcely-paired COCO 数据集，即 MS COCO caption 数据集的一个修改版本。实证结果表明，相较于若干强基线方法，我们的方法有效，尤其在配对样本数量稀少时。
引用
@article{arxiv.1909.02201,
title = {Image Captioning with Very Scarce Supervised Data: Adversarial Semi-Supervised Learning Approach},
author = {Dong-Jin Kim and Jinsoo Choi and Tae-Hyun Oh and In So Kweon},
journal= {arXiv preprint arXiv:1909.02201},
year = {2019}
}
备注
EMNLP 2019. Project page : https://sites.google.com/view/emnlp19scarcecaption