基于场景图对齐的无配对图像描述生成

当前大多数图像描述生成模型严重依赖于图像-描述配对数据集。然而，获取大规模图像-描述配对数据费时费力。本文中，我们提出一种基于场景图的无配对图像描述生成方法。我们的框架包含一个图像场景图生成器、一个句子场景图生成器、一个场景图编码器和一个句子解码器。具体而言，我们首先在文本模态上训练场景图编码器与句子解码器。为对齐图像与句子之间的场景图，我们提出一种无监督特征对齐方法，将场景图特征从图像模态映射到句子模态。实验结果表明，我们提出的模型在不使用任何图像-描述训练对的情况下能生成相当有前景的结果，大幅优于现有方法。