CYCLO: 面向航拍视频中多目标关系建模的循环图Transformer方法

视频场景图生成已成为一种变革性方法，用于捕获和解释视频序列中对象之间复杂的关系及其时间动态。本文介绍了新的AeroEye数据集，该数据集专注于航拍视频中的多目标关系建模。我们的AeroEye数据集包含各种无人机场景，并包含一个视觉上全面且精确的谓词集合，这些谓词捕获了对象之间复杂的关系和空间排列。为此，我们提出了新颖的循环图Transformer（CYCLO）方法，该方法通过以循环方式持续更新交互历史，使模型能够捕获直接和长程的时间依赖关系。所提出的方法还允许处理具有固有循环模式的序列，并以正确的顺序处理对象关系。因此，它可以有效地捕获周期性和重叠的关系，同时最小化信息损失。在AeroEye数据集上的大量实验证明了所提出的CYCLO模型的有效性，展示了其在无人机视频上进行场景理解的潜力。最后，CYCLO方法在两个野外场景图生成基准测试（即PVSG和ASPIRe）上持续取得了最先进的结果。