辅助性自我中心视觉中物体定位的手部引导
计算机视觉与模式识别
2020-03-02 v1 人机交互
摘要
自我中心视觉在增加视觉信息获取途径和改善视障人群生活质量方面前景广阔，而物体识别是该人群日常面临的挑战之一。尽管我们努力提升识别性能，但仍难以确定用户感兴趣的物体；由于在无视觉反馈情况下相机对准的困难，该物体甚至可能未被纳入画面。此外，在自我中心视觉中常用于推断感兴趣区域的注视信息往往不可靠。然而，盲用户常倾向于将其手包含在内，或与被希望识别的物体交互，或仅为更好地对准相机而将其置于邻近位置。我们提出了利用手的存在作为上下文信息以引导感兴趣物体中心区域的定位模型。在我们的方法中，手部分割被输入至整个定位网络或其最后的卷积层。利用来自视力正常者与盲人的自我中心数据集，我们表明手部引导比其他方法（如微调、多类和多任务学习，这些方法也在定位中编码了手-物交互）实现了更高的精度。
引用
@article{arxiv.2002.12557,
title = {Hand-Priming in Object Localization for Assistive Egocentric Vision},
author = {Kyungjun Lee and Abhinav Shrivastava and Hernisa Kacorri},
journal= {arXiv preprint arXiv:2002.12557},
year = {2020}
}
备注
the 2020 Winter Conference on Applications of Computer Vision (WACV 2020)