通过强化行列式点过程实现多样且准确的图像描述生成
计算机视觉与模式识别
2019-08-15 v1 计算与语言
摘要
尽管自动图像描述生成领域已取得显著进展，这仍是一项具有挑战性的任务。以往的工作通常过于关注提高生成描述的质量，而忽略了描述的多样性。在本文中，我们结合行列式点过程（DPP）和强化学习（RL），提出了一种新颖的强化 DPP（R-DPP）方法，为图像生成一组兼具高质量与多样性的描述。我们表明，R-DPP 在准确性和多样性上均优于使用噪声作为控制信号的方法（GANs、VAEs）。此外，R-DPP 能够保持所学分布的模态。因此，可应用束搜索算法生成单条准确描述，其性能优于其他基于 RL 的模型。
引用
@article{arxiv.1908.04919,
title = {Towards Diverse and Accurate Image Captions via Reinforcing Determinantal Point Process},
author = {Qingzhong Wang and Antoni B. Chan},
journal= {arXiv preprint arXiv:1908.04919},
year = {2019}
}
备注
14 pages. Code is comming soon,please pay attention to my personal page visal.cs.cityu.edu.hk/people/qingzhong-wang/