Octopi：利用大型触觉语言模型进行物体属性推理
机器人学
2024-06-06 v2
摘要
物理推理对于有效的机器人操作至关重要。最近的研究探索了视觉和语言模态用于物理推理；视觉可以揭示环境中物体的信息，语言则作为抽象和通信媒介提供额外上下文。尽管这些工作在多种物理推理任务上取得了成功，但它们仅限于从视觉或语言输入中推断出的物理属性。在这项工作中，我们研究将触觉感知与语言相结合，使具身系统能够通过交互获得物理属性并应用常识推理。我们贡献了一个新数据集PhysiCLeAR，包含物理/属性推理任务以及使用GelSight触觉传感器获取的带注释触觉视频。然后我们引入Octopi，一个利用触觉表示学习和大型视觉语言模型的系统，以最少的语言微调来预测和推理触觉输入。我们在PhysiCLeAR上的评估表明，Octopi能够有效利用中间物理属性预测来提高其在各种触觉相关任务上的性能。PhysiCLeAR和Octopi可在https://github.com/clear-nus/octopi获取。
引用
@article{arxiv.2405.02794,
title = {Octopi: Object Property Reasoning with Large Tactile-Language Models},
author = {Samson Yu and Kelvin Lin and Anxing Xiao and Jiafei Duan and Harold Soh},
journal= {arXiv preprint arXiv:2405.02794},
year = {2024}
}
备注
Accepted at Robotics: Science and Systems (R:SS 2024)