基于标题注意力蒸馏的主题场景图生成

如果一幅图像讲述了一个故事，那么图像标题便是最简洁的叙述者。一般而言，场景图倾向于成为无所不知的通才，而图像标题更愿意成为专家，勾勒出要点。大量先前研究发现，除非场景图能够减少琐碎内容与噪声，否则其并不如预期般实用。在这方面，图像标题是一位好导师。为此，我们让场景图从图像标题中借取能力，使其在保持全面的同时成为专家，从而得到所谓的主题场景图。图像标题所关注的注意力被蒸馏并传递给场景图，用于估计部分对象、关系和事件的重要性。具体而言，在标题生成过程中，每个时间步关于各个对象的注意力被收集、池化并组装以获得关于关系的注意力，其作为弱监督来正则化所估计的关系重要性分数。此外，由于该注意力蒸馏过程为将图像标题与场景图的生成结合在一起提供了机会，我们进一步通过共享单一生成模型与图像标题，将场景图转化为具有丰富且自由形式表达的语言形式。实验表明，注意力蒸馏在无需强监督的情况下于挖掘重要关系方面带来了显著提升，且主题场景图在后续应用中展现出巨大潜力。