InstructPart：基于指令推理的任务导向部件分割
计算机视觉与模式识别
2025-05-28 v1 计算与语言
机器人学
摘要
大型多模态基础模型，特别是在语言和视觉领域，显著推进了包括机器人、自动驾驶、信息检索和定位等各种任务的进展。然而，这些模型常将对象视为不可分割的单元，忽略构成它们的组件。理解这些组件及其相关的 affordances 提供了宝贵见解，有助于理解对象的功能，这是执行广泛任务的基础。在本工作中，我们提出一种新型真实世界基准，InstructPart，包含手工标注的部件分割标注和任务导向指令，用于评估当前模型在日常情境下理解和执行部件级任务的性能。通过实验，我们证明即使是最前沿的视觉语言模型（VLM）在任务导向部件分割上也面临挑战。除了我们的基准，我们引入一种简单基线，通过微调我们的数据集实现性能提升约两倍。有了我们的数据集和基准，我们旨在促进任务导向部件分割的研究，增强 VLM 在机器人、虚拟现实、信息检索等多个领域的适用性。项目网址：https://zifuwan.github.io/InstructPart/。
引用
@article{arxiv.2505.18291,
title = {InstructPart: Task-Oriented Part Segmentation with Instruction Reasoning},
author = {Zifu Wan and Yaqi Xie and Ce Zhang and Zhiqiu Lin and Zihan Wang and Simon Stepputtis and Deva Ramanan and Katia Sycara},
journal= {arXiv preprint arXiv:2505.18291},
year = {2025}
}
备注
Accepted by ACL 2025 Main. Project page: https://zifuwan.github.io/InstructPart/