STUPD：用于空间与时间关系推理的合成数据集
计算机视觉与模式识别
2025-02-28 v3
摘要
理解物体间的关系对于理解视觉场景的语义至关重要，也是连接视觉与语言模型的关键步骤。然而，当前最先进的计算机视觉模型仍缺乏良好的空间推理能力。现有数据集大多覆盖相对较少的空间关系，且均为不涉及运动的静态关系。本文提出介词空间与时间理解数据集（STUPD）——一个用于理解源自英语介词的静态与动态空间关系的大规模视频数据集。该数据集包含15万条视觉描述（视频与图像），涵盖30种不同空间介词义，以使用Unity3D合成生成的物体交互仿真形式呈现。除空间关系外，我们还提出5万条涵盖10种时间关系的视觉描述，包含描绘事件/时间点交互的视频。据我们所知，尚无通过视觉设定表征时间关系的数据集。该数据集中还提供物体交互的3D信息（如逐帧坐标）及所用物体描述。该合成数据集旨在帮助模型在真实场景的视觉关系检测中表现更优。我们证明，与其他预训练数据集相比，在STUPD上预训练后，多种模型在2个真实世界数据集（ImageNet-VidVRD与Spatial Senses）上的性能均有所提升。
引用
@article{arxiv.2309.06680,
title = {STUPD: A Synthetic Dataset for Spatial and Temporal Relation Reasoning},
author = {Palaash Agrawal and Haidi Azaman and Cheston Tan},
journal= {arXiv preprint arXiv:2309.06680},
year = {2025}
}