用于场景图生成的双重重参数化重要性加权结构学习
计算机视觉与模式识别
2022-06-24 v1
摘要
作为一个结构化预测任务，场景图生成在给定输入图像的情况下，旨在通过构建视觉接地场景图来显式建模物体及其关系。在当前文献中，该任务普遍通过基于消息传递神经网络的均值场变分贝叶斯方法解决。通常选取经典的松散证据下界作为变分推断目标，这可能引发过度简化的变分近似，从而低估潜在的复杂后验。本文提出一种新颖的双重重参数化重要性加权结构学习方法，其采用更紧的重要性加权下界作为变分推断目标。该下界由可重参数化的 Gumbel-Softmax 采样器抽取多个样本计算而得，由此产生的约束变分推断任务通过一种通用的熵镜像下降算法求解。所得双重重参数化梯度估计降低了相应导数的方差，对学习效果产生有益影响。所提方法在多个流行场景图生成基准上取得了最先进的性能。
引用
@article{arxiv.2206.11352,
title = {Doubly Reparameterized Importance Weighted Structure Learning for Scene Graph Generation},
author = {Daqi Liu and Miroslaw Bober and Josef Kittler},
journal= {arXiv preprint arXiv:2206.11352},
year = {2022}
}
备注
arXiv admin note: substantial text overlap with arXiv:2205.07017