基于现场物体标注的手势感知交互式机器教学

交互式机器教学（IMT）系统使非专家能够轻松创建机器学习（ML）模型。然而，现有的基于视觉的 IMT 系统要么忽略感兴趣对象上的标注，要么要求用户以事后方式进行标注。若无对象标注，模型可能利用不相关特征误解对象。事后标注会带来额外工作负担，降低了整体模型构建过程的可用性。在本文中，我们开发了 LookHere，它将现场物体标注集成到基于视觉的 IMT 中。LookHere 利用用户的指示手势实时分割感兴趣对象。该分割信息可额外用于训练。为实现可靠的对象分割性能，我们使用了自定义数据集 HuTics，包含 170 人针对各种对象做出的 2040 张正面指示手势图像。用户研究的定量结果表明，与采用事后标注流程的标准 IMT 系统相比，参与者使用我们的系统创建模型的速度快 16.3 倍，同时准确率相当。此外，与无标注的模型相比，我们的系统创建的模型在分割感兴趣对象上表现出显著的准确率提升（$\Delta mIoU=0.466$）。