面向无监督图像字幕的循环关系记忆网络

无标注的无监督图像字幕是计算机视觉中新兴挑战，现有方法通常采用 GAN（生成对抗网络）模型。本文中，我们提出一种新颖的基于记忆的网络而非 GAN，名为循环关系记忆网络（$R^2M$）。与复杂且敏感、对长句生成表现不理想的对抗学习不同，$R^2M$ 通过两阶段记忆机制——融合与循环记忆——实现概念到句子的记忆转译，关联常见视觉概念与所生成词语间的关系推理并维持长期。$R^2M$ 通过在图像上无监督训练编码视觉上下文，同时使记忆以监督方式从无关文本语料学习。我们的方案比基于 GAN 的方法具有更少可学参数与更高计算效率，后者严重承受参数敏感性。我们在所有基准数据集上实验验证了 $R^2M$ 优于最先进方法。