三元组感知的场景图嵌入
计算机视觉与模式识别
2019-09-23 v1
摘要
场景图已成为图像生成、视觉关系检测、视觉问答和图像检索等任务中结构化知识的重要形式。虽然词嵌入的可视化和解释已得到充分理解，但场景图嵌入尚未被充分探索。在这项工作中，我们在布局生成任务中使用不同形式的监督来训练场景图嵌入，特别引入了三元组监督和数据增强。在添加三元组监督和数据增强后，我们观察到衡量布局预测优良性的两个指标——平均交并比（mIoU）（52.3% vs. 49.2%）和关系得分（61.7% vs. 54.1%）——均有显著性能提升。为了理解这些不同方法如何影响场景图表示，我们应用了几种新的可视化和评估方法来探索场景图嵌入的演变。我们发现三元组监督显著改善了嵌入的可分离性，这与布局预测模型的性能高度相关。
引用
@article{arxiv.1909.09256,
title = {Triplet-Aware Scene Graph Embeddings},
author = {Brigit Schroeder and Subarna Tripathi and Hanlin Tang},
journal= {arXiv preprint arXiv:1909.09256},
year = {2019}
}
备注
Accepted to Scene Graph Representation Learning workshop at ICCV 2019