基于深度集成模型在人类-机器人交互中的人手分割测试：面向分布内外数据
计算机视觉与模式识别
2025-07-02 v1 人机交互
机器学习
机器人学
摘要
可靠检测和分割人类手部对于增强安全性和促进人类-机器人协作中的高级交互至关重要。当前研究主要在分布内（ID）数据上评估手部分割，这反映了深度学习（DL）模型的训练数据。然而，这种方法未能应对现实人类-机器人交互中常见的分布外（OOD）场景。本研究提出一种新方法，通过在ID数据和更具挑战性的OOD场景下评估预训练DL模型的性能。为模拟真实工业场景，我们设计了包含简单和杂乱背景、工业工具、手部数量（0至4只）以及带戴手套和不戴手套情况的多样化数据集。对于OOD场景，我们加入指纹交叉姿势和快速移动手部导致的运动模糊等稀有条件，以解决认知不确定性和偶然不确定性。为确保多个视角（PoV），我们利用佩戴操作员头部的越动摄像头和固定摄像头捕获人类-机器人交互的RGB图像。这种方法允许我们在多个摄像头视角下评估模型性能，同时评估在现有越动数据集和固定摄像头数据集上训练的模型。对于分割任务，我们使用由UNet和RefineNet组成的深度集成模型。通过分割指标和预测熵进行不确定性量化。结果表明，训练于工业数据集的模型优于非工业数据集，凸显了特定场景训练的重要性。尽管所有模型在OOD场景下表现不佳，但工业数据集训练的模型在泛化性方面显著优于其他模型。
引用
@article{arxiv.2501.07713,
title = {Testing Human-Hand Segmentation on In-Distribution and Out-of-Distribution Data in Human-Robot Interactions Using a Deep Ensemble Model},
author = {Reza Jalayer and Yuxin Chen and Masoud Jalayer and Carlotta Orsenigo and Masayoshi Tomizuka},
journal= {arXiv preprint arXiv:2501.07713},
year = {2025}
}