利用长期依赖生成动态场景图
计算机视觉与模式识别
2022-10-20 v2
摘要
从视频中生成动态场景图具有挑战性，这源于场景的时间动态性以及预测本身固有的时间波动。我们假设，捕捉长期时间依赖是有效生成动态场景图的关键。我们提出通过在对象级长期轨迹上利用transformers捕捉对象级一致性与对象间关系动态，从而学习视频中的长期依赖。实验结果表明，我们的动态场景图检测Transformer(DSG-DETR)在基准数据集Action Genome上以显著优势超越最先进方法。我们的消融研究验证了所提方法各组件的有效性。源代码见https://github.com/Shengyu-Feng/DSG-DETR。
引用
@article{arxiv.2112.09828,
title = {Exploiting Long-Term Dependencies for Generating Dynamic Scene Graphs},
author = {Shengyu Feng and Subarna Tripathi and Hesham Mostafa and Marcel Nassar and Somdeb Majumdar},
journal= {arXiv preprint arXiv:2112.09828},
year = {2022}
}
备注
WACV 2023