HOIST-Former：野外手持物体的识别、分割与跟踪
计算机视觉与模式识别
2024-04-23 v1
摘要
我们解决了识别、分割和跟踪手持物体的挑战性任务，这对于人类动作分割和性能评估等应用至关重要。由于严重的遮挡、快速运动以及手持物体的短暂性（物体可能被握住、释放然后再次拾起），该任务尤其具有挑战性。为应对这些挑战，我们开发了一种新颖的基于Transformer的架构，称为HOIST-Former。HOIST-Former通过迭代地从彼此中池化特征，擅长在空间和时间上分割手和物体，确保手持物体的识别、分割和跟踪过程依赖于手的位置及其上下文外观。我们进一步通过一个接触损失来优化HOIST-Former，该损失专注于手与物体接触的区域。此外，我们还贡献了一个名为HOIST的野外视频数据集，包含4,125个视频，并附有手持物体的边界框、分割掩码和跟踪ID。通过在HOIST数据集和另外两个公共数据集上的实验，我们证明了HOIST-Former在分割和跟踪手持物体方面的有效性。
关键词
引用
@article{arxiv.2404.13819,
title = {HOIST-Former: Hand-held Objects Identification, Segmentation, and Tracking in the Wild},
author = {Supreeth Narasimhaswamy and Huy Anh Nguyen and Lihan Huang and Minh Hoai},
journal= {arXiv preprint arXiv:2404.13819},
year = {2024}
}