基于Transformer注意力的指向引导目标估计
机器人学
2025-09-08 v1 人工智能
计算机视觉与模式识别
摘要
指示手势，如指向，是非语言交流的一种基本形式，使人类能够将注意力引导到特定的物体或位置。这种能力在人机交互（HRI）中至关重要，机器人应该能够预测人类意图并预测适当的响应。在这项工作中，我们提出了多模态交互Transformer（MM-ITF），这是一种模块化架构，用于在受控桌面场景中与NICOL机器人一起预测物体，其中人类通过自然的指向手势指示目标。利用模态间注意力，MM-ITF将2D指向手势映射到物体位置，为每个位置分配一个可能性分数，并识别出最可能的目标。我们的结果表明，该方法可以使用单目RGB数据准确预测预期物体，从而实现直观且可访问的人机协作。为了评估性能，我们引入了一个补丁混淆矩阵，提供了模型在候选物体位置上的预测洞察。代码可在以下地址获取：https://github.com/lucamuellercode/MMITF。
引用
@article{arxiv.2509.05031,
title = {Pointing-Guided Target Estimation via Transformer-Based Attention},
author = {Luca Müller and Hassan Ali and Philipp Allgeuer and Lukáš Gajdošech and Stefan Wermter},
journal= {arXiv preprint arXiv:2509.05031},
year = {2025}
}
备注
Accepted at the 34th International Conference on Artificial Neural Networks (ICANN) 2025,12 pages,4 figures,1 table; work was co-funded by Horizon Europe project TERAIS under Grant agreement number 101079338