利用多模态合成数据实现工业场景下的以自我为中心人-物交互检测
计算机视觉与模式识别
2024-03-12 v2
摘要
本文中，我们解决了工业环境中的以自我为中心人-物交互（EHOI）检测问题。为克服该场景下公开数据集的缺乏，我们提出了一种用于生成 EHOI 合成图像并配有多重标注和数据信号（如深度图或分割掩码）的流水线及工具。利用所提出的流水线，我们提出了 EgoISM-HOI，这是一个由工业环境中合成 EHOI 图像组成的新多模态数据集，带有丰富的手与物体标注。为证明所提工具生成的合成 EHOI 数据的效用与有效性，我们设计了一种新方法，预测并融合不同多模态信号以在 RGB 图像中检测 EHOI。我们的研究表明，利用合成数据预训练所提方法在真实世界数据测试时显著提升性能。此外，为充分理解我们方法的实用性，我们进行了深入分析，在其中比较并凸显了所提方法相对于不同最先进类无关方法的优越性。为支持该领域研究，我们在 https://iplab.dmi.unict.it/egoism-hoi 公开发布数据集、源代码和预训练模型。
引用
@article{arxiv.2306.12152,
title = {Exploiting Multimodal Synthetic Data for Egocentric Human-Object Interaction Detection in an Industrial Scenario},
author = {Rosario Leonardi and Francesco Ragusa and Antonino Furnari and Giovanni Maria Farinella},
journal= {arXiv preprint arXiv:2306.12152},
year = {2024}
}