学习用于图像描述的紧凑奖励
计算机视觉与模式识别
2020-03-25 v1 计算与语言
摘要
对抗学习已在图像描述中展现出生成自然且多样描述的先进性。然而，由于奖励模糊问题，现有对抗方法学到的奖励是模糊且定义不良的。在本文中，我们提出一种精炼的对抗逆强化学习（rAIRL）方法来处理奖励模糊问题，通过对句子中每个词解耦奖励，并通过精炼损失函数将生成器推向纳什均衡以实现稳定的对抗训练。此外，我们在损失函数中引入一个条件项，以缓解模式崩溃并增加生成描述的多样性。我们在 MS COCO 和 Flickr30K 上的实验表明，我们的方法能够学习用于图像描述的紧凑奖励。
引用
@article{arxiv.2003.10925,
title = {Learning Compact Reward for Image Captioning},
author = {Nannan Li and Zhenzhong Chen},
journal= {arXiv preprint arXiv:2003.10925},
year = {2020}
}
备注
13 pages, 10 figures