面向场景图生成的重要性加权结构学习
计算机视觉与模式识别
2022-05-17 v1
摘要
场景图生成是一项结构化预测任务，旨在通过为输入图像构建视觉基础的场景图来显式建模物体及其关系。目前，基于消息传递神经网络的均值场变分贝叶斯方法是此类任务中普遍采用的解决方案，其中变分推断目标通常假设为经典的证据下界。然而，从这种松散目标推断出的变分近似通常会低估潜在后验，这往往导致较差的生成性能。在本文中，我们提出了一种新颖的重要性加权结构学习方法，旨在用更紧的重要性加权下界来近似潜在的 log-partition function（对数配分函数），该下界由从可重参数化的 Gumbel-Softmax 采样器抽取的多个样本计算得到。我们应用一种通用的熵镜像下降算法来求解由此产生的约束变分推断任务。所提方法在各种流行的场景图生成基准上取得了 state-of-the-art（最先进）性能。
引用
@article{arxiv.2205.07017,
title = {Importance Weighted Structure Learning for Scene Graph Generation},
author = {Daqi Liu and Miroslaw Bober and Josef Kittler},
journal= {arXiv preprint arXiv:2205.07017},
year = {2022}
}