基于循环一致性的图像到描述生成端到端学习
计算与语言
2019-03-26 v1 计算机视觉与模式识别
摘要
迄今为止,从图像生成描述的研究均基于这样的观点:描述对图像包含充足信息。若能从生成的描述生成一张接近输入图像的图像,即若能生成包含充足信息以重现该图像的自然语言描述,则该描述被认为忠实于图像。为使此种再生成为可能,使用循环一致性损失的学习是有效的。在本研究中,我们提出一种通过学习图像与文本间端到端相互转换来生成描述的方法。为评估我们的方法,我们进行了含循环一致性与不含循环一致性的对比实验。结果通过自动评测与众包进行评估,表明我们所提方法有效。
引用
@article{arxiv.1903.10118,
title = {End-to-End Learning Using Cycle Consistency for Image-to-Caption Transformations},
author = {Keisuke Hagiwara and Yusuke Mukuta and Tatsuya Harada},
journal= {arXiv preprint arXiv:1903.10118},
year = {2019}
}