面向人机协作的通信聚焦机器学习模型从真实到虚拟环境的系统性适配
人机交互
2023-07-24 v1 机器学习
机器人学
摘要
虚拟现实已在游戏、医学、训练以及赋能人机协作的界面开发等多个领域的应用中被证明有用。它使设计者能够突破真实世界环境所施加的约束，探索应用并开发创新解决方案与体验。手部手势识别在真实世界中因大型标注数据集的创建而成为大量研究并随后商业化的课题。为在虚拟领域利用自然直观的手部手势以实现协作机器人的具身遥操作，必须创建类似的大型数据集，以使操作界面易于学习且足够灵活以添加更多手势。视应用而定，这可能在计算或经济上难以承受。因此，将真实环境中表现良好的训练深度学习模型适配至虚拟环境或许是应对该挑战的方案。本文提出了一种利用有限规模虚拟数据集进行实到虚适配的系统性框架，并给出了创建精选数据集的指南。最后，尽管将手部手势视为通信模式，所提出的指南与建议具有通用性，适用于身体姿态和面部表情等其他模式——这些模式在真实领域拥有大型数据集，需适配至虚拟领域。
引用
@article{arxiv.2307.11327,
title = {Systematic Adaptation of Communication-focused Machine Learning Models from Real to Virtual Environments for Human-Robot Collaboration},
author = {Debasmita Mukherjee and Ritwik Singhai and Homayoun Najjaran},
journal= {arXiv preprint arXiv:2307.11327},
year = {2023}
}