面向 CaptionBot 与 DrawingBot 的涡轮学习
计算机视觉与模式识别
2018-11-30 v2
摘要
本文中我们研究图像描述与文本到图像生成两个问题，并提出一种新颖的涡轮学习（turbo learning）方法来联合训练图像到文本生成器（即 CaptionBot）与文本到图像生成器（即 DrawingBot）。联合训练背后的关键思想是，图像到文本生成与文本到图像生成作为对偶问题可形成闭环，从而相互提供信息丰富的反馈。基于此类反馈，我们引入一种新的损失度量，通过比较原始输入与闭环所产生的输出来计算。除 CaptionBot 与 DrawingBot 中使用的原有损失度量外，这一额外损失度量使得联合训练的 CaptionBot 和 DrawingBot 优于分别训练的对应模型。此外，涡轮学习方法支持半监督学习，因为闭环可为未标注样本提供伪标签。在 COCO 数据集上的实验结果表明，所提出的涡轮学习能大幅显著提升 CaptionBot 与 DrawingBot 的性能。
引用
@article{arxiv.1805.08170,
title = {Turbo Learning for Captionbot and Drawingbot},
author = {Qiuyuan Huang and Pengchuan Zhang and Dapeng Wu and Lei Zhang},
journal= {arXiv preprint arXiv:1805.08170},
year = {2018}
}
备注
in proceedings of NeurIPS 2018