InterTracker：在真实场景中发现与跟踪与手交互的通用物体
计算机视觉与模式识别
2023-08-15 v2
摘要
理解人与物体的交互是具身人工智能的重要研究课题，而识别人类正在交互的物体是交互理解的首要问题。现有方法依赖基于帧的检测器来定位交互物体，然而该方法易受严重遮挡、背景杂乱和干扰物体影响。为应对这些局限，本文提出利用手-物交互的时空信息，在上述挑战情形下跟踪交互物体。不同于物体跟踪问题需先验已知待跟踪通用物体，我们首先利用手与物体的空间关系自适应地从场景中发掘交互物体；其次，利用物体相邻帧间外观的一致性与连续性来跟踪物体。借助该跟踪框架，我们的方法也受益于在大规模通用物体跟踪数据集上的训练。我们进一步从100DOH整理了一个视频级手-物交互数据集用于测试与评估。定量结果表明，所提方法优于SOTA方法。具体而言，在连续与不同物体交互的场景中，按平均精度（AP）指标评估取得了约10%的显著提升。定性结果也表明，我们的方法能为交互物体生成更连续的轨迹。
引用
@article{arxiv.2308.03061,
title = {InterTracker: Discovering and Tracking General Objects Interacting with Hands in the Wild},
author = {Yanyan Shao and Qi Ye and Wenhan Luo and Kaihao Zhang and Jiming Chen},
journal= {arXiv preprint arXiv:2308.03061},
year = {2023}
}
备注
IROS 2023