基于能量的场景图生成学习
计算机视觉与模式识别
2021-03-04 v1 机器学习
摘要
传统的场景图生成方法使用交叉熵损失进行训练, 将对象和关系视为独立实体。然而, 在这种固有的结构化预测问题中, 此类公式忽略了输出空间中的结构。在本工作中, 我们引入了一种新颖的基于能量的学习框架用于生成场景图。所提出的公式能够高效地将场景图的结构纳入输出空间中。学习框架中的这一额外约束充当了归纳偏置, 并使模型能够从小量标签中高效学习。我们使用所提出的基于能量的框架训练现有的最先进模型, 并在 Visual Genome 和 GQA 基准数据集上分别获得了高达 21% 和 27% 的显著性能提升。此外, 我们通过展示在数据稀缺的零样本和少样本设定下的优越性能, 证明了所提框架的学习效率。
引用
@article{arxiv.2103.02221,
title = {Energy-Based Learning for Scene Graph Generation},
author = {Mohammed Suhail and Abhay Mittal and Behjat Siddiquie and Chris Broaddus and Jayan Eledath and Gerard Medioni and Leonid Sigal},
journal= {arXiv preprint arXiv:2103.02221},
year = {2021}
}