ReLI：一种语言无关的人机交互方法
机器人学
2025-10-07 v3
摘要
将自主智能体应用于现实世界的工业、家庭及其他日常任务正获得越来越多的关注。然而，在全球或跨语言的应用场景中，确保智能体能够与环境进行有效交互，并执行不受语言限制的人类指定任务，仍然是一个尚未解决的问题。为此，我们提出了 ReLI，一种语言无关的方法，使自主智能体能够进行自然对话、对其环境进行语义推理并执行下游任务，而无论任务指令的模态或语言来源如何。首先，我们基于大规模预训练基础模型，将其转化为语言到动作模型，能够通过自然、流畅的对话交互直接提供常识推理和高层机器人控制。此外，我们对模型进行跨语言适配，以确保 ReLI 能够泛化到全球各种语言。为了证明 ReLI 的鲁棒性，我们在各种短时程和长时程任务上进行了广泛实验，包括零样本和少样本空间导航、场景信息检索以及面向查询的任务。我们在涉及 7 万多次多轮对话的 140 种语言上对其性能进行了基准测试。平均而言，ReLI 在跨语言指令解析和任务执行成功率方面达到了 90%±0.2 以上的准确率。这些结果证明了其在促进现实世界中自然人机交互的同时，支持包容性和语言多样性的潜力。演示和资源将公开于：https://linusnep.github.io/ReLI/。
引用
@article{arxiv.2505.01862,
title = {ReLI: A Language-Agnostic Approach to Human-Robot Interaction},
author = {Linus Nwankwo and Bjoern Ellensohn and Ozan Özdenizci and Elmar Rueckert},
journal= {arXiv preprint arXiv:2505.01862},
year = {2025}
}