FloCoDe：基于时间一致性与关联去偏的无偏动态场景图生成
计算机视觉与模式识别
2024-04-15 v3
摘要
从视频中进行动态场景图生成（SGG）不仅需要对跨场景物体的全面理解，还需要一种方法来捕捉时间运动及与不同物体的交互。此外，视觉关系的长尾分布是大多数动态SGG方法的关键瓶颈。这是因为其中许多方法侧重于使用复杂架构捕捉时空上下文，从而导致生成有偏的场景图。为应对这些挑战，我们提出FloCoDe：基于流感知的时间一致性与关联去偏并结合不确定性衰减的无偏动态场景图方法。FloCoDe利用基于流的feature warping来检测跨帧时间一致的物体。为解决视觉关系的长尾问题，我们提出关联去偏和基于标签关联的损失，以学习长尾类别的无偏关系表示。具体而言，我们提出使用对比损失引入标签关联来捕捉常共现的关系，这有助于学习长尾类别的鲁棒表示。此外，我们采用基于不确定性衰减的分类器框架来处理SGG数据中的噪声标注。大量实验评估显示性能提升高达4.1%，证明了生成更无偏场景图的优越性。
引用
@article{arxiv.2310.16073,
title = {FloCoDe: Unbiased Dynamic Scene Graph Generation with Temporal Consistency and Correlation Debiasing},
author = {Anant Khandelwal},
journal= {arXiv preprint arXiv:2310.16073},
year = {2024}
}
备注
Accepted at CVPR 2024 SG2RL, 11 pages, 5 tables, 4 figures