混合现实中的增强自我感知：基于自动标注的第一人称手臂分割与数据集
计算机视觉与模式识别
2020-03-30 v1
摘要
在本研究中，我们聚焦于手臂的第一人称分割，以改善增强虚拟性(AV)中的自我感知。本工作的主要贡献为：i) 对AV分割算法的全面综述；ii) 一个第一人称手臂分割数据集，由超过10,000张图像组成，包含肤色、性别等差异。我们提供了自动生成真值与半合成图像所需的全部细节；iii) 首次将深度学习用于AV中的手臂分割；iv) 为展示该数据库的有用性，我们在不同的真实第一人称手部数据集上报告了结果，包括GTEA Gaze+、EDSH、EgoHands、Ego Youtube Hands、THU-Read、TEgO、FPAB和Ego Gesture，从而可与现有利用颜色或深度的方法直接比较。结果证实了EgoArm数据集对该任务的适用性，相较于原始网络最高提升达40%，具体取决于相应数据集。结果还表明，尽管基于颜色或深度的方法可在受控条件下工作（无遮挡、均匀光照、近处仅有感兴趣物体、受控背景等），但基于深度学习的第一人称分割在真实AV应用中更为鲁棒。
引用
@article{arxiv.2003.12352,
title = {Enhanced Self-Perception in Mixed Reality: Egocentric Arm Segmentation and Database with Automatic Labelling},
author = {Ester Gonzalez-Sosa and Pablo Perez and Ruben Tolosana and Redouane Kachach and Alvaro Villegas},
journal= {arXiv preprint arXiv:2003.12352},
year = {2020}
}