DoRO：面向具身智能体的指称对象消歧
机器人学
2022-07-29 v1 人工智能
摘要
机器人任务指令通常涉及一个指称对象，机器人必须在环境中定位（接地）该对象。虽然任务意图理解是自然语言理解的重要组成部分，但在任务接地过程中可能出现的歧义消解方面所做的工作较少。现有工作使用基于视觉的任务接地与歧义检测，适用于固定视角和静态机器人。然而，对于移动机器人而言，该问题会放大，因为理想视角事先未知。此外，单一视角可能不足以定位给定区域中的所有对象实例，从而导致不准确的歧义检测。只有当机器人能够传达其面临的歧义类型时，人工干预才是有帮助的。在本文中，我们提出 DoRO（Disambiguation of Referred Object，指称对象消歧），一个可通过在需要时提出合适查询来帮助具身智能体对指称对象进行消歧的系统。给定目标对象所在的区域，DoRO 在探索与扫描该区域时通过聚合多视角观测来发现该对象的所有实例，然后利用已接地对象实例的信息提出合适的查询。基于 AI2Thor 模拟器的实验表明，DoRO 不仅能更准确地检测歧义，还能提出包含来自视觉-语言接地更准确信息的详尽查询。
引用
@article{arxiv.2207.14205,
title = {DoRO: Disambiguation of referred object for embodied agents},
author = {Pradip Pramanick and Chayan Sarkar and Sayan Paul and Ruddra dev Roychoudhury and Brojeshwar Bhowmick},
journal= {arXiv preprint arXiv:2207.14205},
year = {2022}
}
备注
Accepted in IEEE Robotics & Automation Letters (RA-L)