TransforMerger：基于Transformer的语音-手势融合用于鲁棒的人机沟通

随着人机协作的发展，自然且灵活的沟通方式对于有效的机器人控制至关重要。传统方法依赖单一模态或僵化规则，难以应对噪声数据、错位数据以及不符合预定义对象名称的描述（例如'Pick that red object'）。我们引入TransforMerger，一种基于Transformer的推理模型，基于语音和手势输入的融合，推断出用于机器人操作的结构化动作命令。我们的方案将多模态数据融合为单个统一句子，然后由语言模型处理。我们采用概率嵌入处理不确定性，并整合场景理解以解决模糊指代问题（例如指向多个对象的手势或类似'this'的模糊口头指示）。我们在仿真和真实世界实验中评估了TransforMerger，证明其对噪声、错位和缺失信息的鲁棒性。结果表明，TransforMerger在需要更多上下文知识的场景中超越了确定性基线，实现了更具鲁棒性和灵活性的人机沟通。代码和数据集均可在http://imitrob.ciirc.cvut.cz/publications/transformerger获取。