面向场景图生成的目标定制源变换方法

场景图生成旨在提供图像的语义与结构描述，用节点表示物体，用边表示它们之间的关系。迄今为止性能最好的工作基于利用物体或关系周围的上下文，例如在物体间传递信息。在这些方法中，变换源物体的表示是为目标物体提取所用信息的关键过程。在本工作中，我们认为源物体应当给出目标物体所需的内容，并为不同物体提供不同信息，而非向所有目标贡献共同信息。为实现该目标，我们提出一种目标定制源变换（TTST）方法，以在物体提议和关系间高效传播信息。特别地，对于一个将向其他目标物体贡献信息的源物体提议，我们通过同时考虑源和目标，将源物体特征变换到目标物体特征域。我们进一步通过将语言先验与变换中的视觉上下文相集成，探索更强大的表示以用于场景图生成。通过这种方式，目标物体能够相应地从源物体和源关系中提取特定于目标的信息，以精炼其表示。我们的框架在 Visual Genome 基准上得到验证，并展示了其在场景图生成上的最先进性能。实验结果表明，物体检测与视觉关系检测的性能通过我们的方法得到相互促进。