利用合成数据提升以太辈姿态手-物互动检测
计算机视觉与模式识别
2026-04-01 v1
摘要
本文探讨了合成数据在改善从第三人称图像中检测手-物互动方面的作用。通过在VISOR、EgoHOS和ENIGMA-51数据集上的大量实验和比较分析，我们的发现表明，合成数据在手-物互动检测中具有潜力，尤其是在真实标签数据稀缺或不可用时效果显著。仅使用合成数据和10%的真实标签数据，即可在VISOR、EgoHOS和ENIGMA-51上实现Overall AP分别提升5.67%、8.24%和11.69%。此外，我们系统性地研究了如何通过针对物体、抓取方式和环境进行合成-真实对齐，来提高合成数据的有效性，结果显示合成数据的有效性随着合成-真实对齐程度的提升而持续改善。本工作的结果是我们发布了一个新的数据生成管道和新的HOI-Synth基准，该基准为现有数据集增添了手-物互动的合成图像。这些数据自动标注了手-物接触状态、边界框和像素级分割掩码。所有用于合成数据生成的数据、代码和工具均可在：https://fpv-iplab.github.io/HOI-Synth/获取。
引用
@article{arxiv.2603.29733,
title = {Leveraging Synthetic Data for Enhancing Egocentric Hand-Object Interaction Detection},
author = {Rosario Leonardi and Antonino Furnari and Francesco Ragusa and Giovanni Maria Farinella},
journal= {arXiv preprint arXiv:2603.29733},
year = {2026}
}