从手部视角视觉信息到抓取类型概率：基于排序标签的深度学习
计算机视觉与模式识别
2021-03-09 v1 人工智能
摘要
肢体缺失严重影响截肢者的日常生活，并推动了对提供功能性机器人假手以补偿此种缺失的努力。基于卷积神经网络的假手计算机视觉控制因通过训练视觉信息预测手势所具有的可靠性，作为一种替代或补充生理信号的方法受到越来越多的关注。将相机安装于假手掌心被证明是一种有前景的视觉数据采集方法。然而，由于物体形状并非总是对称，从眼部和手部视角标注的抓取类型可能不同。因此，为以真实方式表征此差异，我们采用了一个包含眼部和手部视角同步图像的数据集，其中手部视角图像用于训练，而眼部视角图像仅用于人工标注。来自上臂的肌电图（EMG）活动与运动学数据亦被采集，以供未来多模态信息融合使用。此外，为纳入人在回路控制并将计算机视觉与生理信号输入结合，我们依据Plackett-Luce模型构建了一种新颖的概率分类器，而非进行绝对的正或负预测。为预测抓取上的概率分布，我们利用标签排序上的统计模型，通过最大似然估计解决排列域问题，将人工排序的抓取列表作为一种新形式的标签加以利用。我们指出所提模型适用于最流行且高效的卷积神经网络框架。
引用
@article{arxiv.2103.04863,
title = {From Hand-Perspective Visual Information to Grasp Type Probabilities: Deep Learning via Ranking Labels},
author = {Mo Han and Sezen Ya{ğ}mur Günay and İlkay Yıldız and Paolo Bonato and Cagdas D. Onal and Taşkın Padır and Gunar Schirner and Deniz Erdo{ğ}muş},
journal= {arXiv preprint arXiv:2103.04863},
year = {2021}
}