合成数据对第一人称视角手-物交互检测有用吗？
计算机视觉与模式识别
2024-07-17 v3
摘要
在本研究中，我们探讨了合成数据在增强第一人称视角手-物交互检测中的有效性。通过在三个第一人称数据集 VISOR、EgoHOS 和 ENIGMA-51 上进行大量实验和对比分析，我们的结果揭示了在真实标注数据稀缺或不可用时，如何将合成数据应用于 HOI 检测任务。具体而言，仅利用 10% 的真实标注数据，与仅在真实数据上训练的基线相比，我们在 Overall AP 上取得了如下提升：EPIC-KITCHENS VISOR 上提升 +5.67%，EgoHOS 上提升 +8.24%，ENIGMA-51 上提升 +11.69%。我们的分析得到了一种新颖的数据生成流水线和新提出的 HOI-Synth 基准的支持，该基准通过自动标注手-物接触状态、边界框和像素级分割掩码的手-物交互合成图像来扩充现有数据集。为支持未来研究，相关数据、代码和数据生成工具已发布于：https://fpv-iplab.github.io/HOI-Synth/。
引用
@article{arxiv.2312.02672,
title = {Are Synthetic Data Useful for Egocentric Hand-Object Interaction Detection?},
author = {Rosario Leonardi and Antonino Furnari and Francesco Ragusa and Giovanni Maria Farinella},
journal= {arXiv preprint arXiv:2312.02672},
year = {2024}
}