基于无监督运动学-视觉数据对齐的域自适应机器人手势识别
计算机视觉与模式识别
2021-07-20 v2 机器学习
机器人学
摘要
自动化手术手势识别在机器人辅助微创外科手术中具有重要意义。然而，现有方法假设训练与测试数据来自同一域，当存在域间隙（如模拟器与真实机器人之间）时，性能会严重下降。本文提出一种新颖的无监督域自适应框架，能够同时将多模态知识（即运动学数据与视觉数据）从模拟器迁移到真实机器人。该方法利用视频中的时间线索以及多模态间的内在相关性来识别手势，从而以增强的可迁移特征弥补域间隙。具体而言，我们首先提出 MDO-K 以对齐运动学数据，其利用时间连续性迁移运动方向而非位置值，从而以更小间隙缓解自适应负担。此外，我们提出 KV-Relation-ATT 以迁移运动学与视觉的共现信号。由相关性相似度所关注的特征更具信息量，有助于增强模型的域不变性。两种特征对齐策略在端到端学习过程中相互增益。我们使用含插钉传递操作的 DESK 数据集对手势识别方法进行了充分评估。结果表明，在不使用真实机器人任何标注的情况下，我们的方法恢复了性能并取得显著改进，ACC 提升达 12.91%，F1score 提升达 20.16%。
引用
@article{arxiv.2103.04075,
title = {Domain Adaptive Robotic Gesture Recognition with Unsupervised Kinematic-Visual Data Alignment},
author = {Xueying Shi and Yueming Jin and Qi Dou and Jing Qin and Pheng-Ann Heng},
journal= {arXiv preprint arXiv:2103.04075},
year = {2021}
}
备注
Accepted as a conference paper in IROS 2021