利用可解释性理解真实世界中的指代表达
机器人学
2021-07-13 v1
摘要
为了实现有效的人机协作，机器人理解用户的请求并在存在歧义时提出合理的后续问题至关重要。在理解请求中用户对物体的描述时，现有研究仅针对可用现有目标检测与定位模块检测或定位的有限物体类别应对这一挑战。而在真实环境中，交互过程中可能遇到的物体类别是无法受限的。为了在真实环境中理解被描述物体并解决歧义，我们首次提出一种利用可解释性的方法。我们的方法聚焦于场景的活跃区域以寻找被描述物体，而不对物体类别和自然语言指令施加先前的约束。我们在多种真实世界图像中评估了该方法，并观察到我们的方法所建议的区域有助于解决歧义。当我们将我们的方法与最先进的基线进行比较时，结果表明我们的方法在包含现有目标检测器无法识别的歧义物体的场景中表现更优。
引用
@article{arxiv.2107.05593,
title = {Leveraging Explainability for Comprehending Referring Expressions in the Real World},
author = {Fethiye Irmak Dogan and Gaspar I. Melsion and Iolanda Leite},
journal= {arXiv preprint arXiv:2107.05593},
year = {2021}
}