基于解耦目标检测的短期物体交互预测 @ Ego4D 短期物体交互预测挑战赛
计算机视觉与模式识别
2024-07-09 v1 人工智能
摘要
短期物体交互预测是自我中心视频分析中的一项重要任务，包括对未来交互及其发生时间的精确预测，以及所涉及主动物体的类别和位置预测。为降低该任务的复杂性，我们提出的方法 SOIA-DOD 将其有效分解为：1）检测主动物体；2）分类交互并预测其发生时间。该方法首先通过微调预训练的 YOLOv9，在自我中心视频的最后一帧检测所有潜在的主动物体。然后，我们将这些潜在主动物体作为查询与 Transformer 编码器结合，从而识别出最有可能的下一个主动物体，并预测其未来的交互和接触时间。实验结果表明，我们的方法在挑战赛测试集上优于 SOTA 模型，在预测下一个主动物体及其交互方面取得了最佳性能。最终，在包含接触时间预测的情况下，我们提出的方法在整体 top-5 mAP 中排名第三。源代码可在 https://github.com/KeenyJin/SOIA-DOD 获取。
引用
@article{arxiv.2407.05713,
title = {Short-term Object Interaction Anticipation with Disentangled Object Detection @ Ego4D Short Term Object Interaction Anticipation Challenge},
author = {Hyunjin Cho and Dong Un Kang and Se Young Chun},
journal= {arXiv preprint arXiv:2407.05713},
year = {2024}
}
备注
4 pages