Haystack：用于评估罕见谓词类的全景场景图数据集
计算机视觉与模式识别
2023-09-06 v1 机器学习
摘要
当前的场景图数据集在其谓词类上遭受严重的长尾分布问题。由于测试集中某些谓词类的数量极少，无法为最罕见的类获取可靠的指标。我们构建了一个新的全景场景图数据集和一组指标，旨在作为尤其针对罕见谓词类预测性能的基准。为构建新数据集，我们提出了一种模型辅助标注流程，能高效地从大量图像中找到如草堆寻针般隐藏的罕见谓词类。与先前的场景图数据集不同，Haystack 包含显式负标注，即给定关系不具有某一谓词类的标注。负标注尤其在场景图生成领域有帮助，并为改进当前场景图生成模型开辟了全新的可能性。Haystack 与现有的全景场景图数据集 100% 兼容，并可轻松集成到现有评估流程中。我们的数据集与代码可在此处找到：https://lorjul.github.io/haystack/。其包含标注文件以及易于使用的脚本和工具，以帮助将我们的数据集集成到现有工作中。
引用
@article{arxiv.2309.02286,
title = {Haystack: A Panoptic Scene Graph Dataset to Evaluate Rare Predicate Classes},
author = {Julian Lorenz and Florian Barthel and Daniel Kienzle and Rainer Lienhart},
journal= {arXiv preprint arXiv:2309.02286},
year = {2023}
}