人机交互中基于属性的物体指代组合式零样本学习
机器人学
2023-12-22 v1 人工智能
计算与语言
计算机视觉与模式识别
摘要
过去几年中，支持语言的机器人已被广泛研究，以在各种现实世界应用中实现自然的人机交互和团队协作。支持语言的机器人必须能够理解指代表达式，利用从自然语言中提取的一组指代属性，通过视觉感知识别特定物体。然而，当物体被指代时，其视觉观测可能不可用，并且在开放世界中物体和属性的数量也可能是无界的。为应对这些挑战，我们实现了一种基于属性的组合式零样本学习方法，该方法使用属性列表在开放世界中执行指代表达式理解。我们在 MIT-States 和 Clothing 16K 两个数据集上评估了该方法。初步实验结果表明，我们实现的方法使机器人能够正确识别人类命令所指代的物体。
引用
@article{arxiv.2312.13655,
title = {Compositional Zero-Shot Learning for Attribute-Based Object Reference in Human-Robot Interaction},
author = {Peng Gao and Ahmed Jaafar and Brian Reily and Christopher Reardon and Hao Zhang},
journal= {arXiv preprint arXiv:2312.13655},
year = {2023}
}
备注
Equal contribution from the first two authors