在人机交互中利用人类凝视和增强现实教授未知物体

机器人因其卓越的工作能力、精度、效率和可扩展性，在广泛的环境中变得越来越受欢迎。人工智能，特别是机器学习的进步进一步推动了这一发展。通过采用复杂的神经网络，机器人能够检测并与其附近的物体进行交互。然而，一个显著的缺点在于这些物体检测模型对大量数据集和大量训练数据的依赖。当机器人的具体部署位置和环境事先未知时，这个问题变得尤为突出。庞大且不断增长的物体阵列使得仅凭现有数据集几乎不可能全面覆盖所有现有物体。本论文的目标是在人机交互（HRI）的背景下教会机器人未知物体，以使其摆脱数据依赖，从预定义场景中解放出来。在此背景下，眼动追踪与增强现实的结合产生了一种强大的协同效应，使人类教师能够通过人类凝视与机器人通信并轻松指出物体。这种整体方法导致了一个多模态HRI系统的开发，使机器人能够识别并在3D空间中对感兴趣物体进行视觉分割。通过人类提供的类别信息，机器人能够学习这些物体并在后续阶段重新检测它们。由于从这种基于HRI的教学中获得的知识，机器人的物体检测能力表现出与在大量数据集上训练的最先进物体检测器相当的性能，而不受预定义类别的限制，展示了其多功能性和适应性。