野外环境下的手部分割分析

大量自我中心视觉的工作集中于动作与物体识别。然而，第一人称视频中手部的检测与分割较少被探索。对于该领域的许多应用，不仅需要准确分割相机佩戴者的手，还需分割与其交互的其他人的手。在此，我们深入考察手部分割问题。为寻求鲁棒的手部分割方法，我们在现有数据集上评估了最先进的语义分割方法的性能，包括直接使用与微调。我们微调了领先的语义分割方法 RefineNet 用于手部分割，发现其远优于最佳竞争者。现有手部分割数据集采集于实验室环境。为克服此局限，我们贡献了两个新数据集：a) EgoYouTubeHands，包含野外含手的自中心视频；b) HandOverFace，用于分析相似外观遮挡下模型的性能。我们进一步探索条件随机场是否能帮助细化生成的手部分割。为展示准确手形图的益处，我们训练了一个用于基于手的活动识别的 CNN，当使用微调 RefineNet 生成的手形图训练时取得了更高准确率。最后，我们标注了 EgoHands 数据集的一个子集用于细粒度动作识别，并表明仅通过单一手姿即可达到 58.6% 的准确率，远优于随机水平（12.5%）。