PartGLEE：用于识别和解析任意对象的基础模型

我们提出了 PartGLEE，这是一个用于定位和识别图像中对象和部件的部件级别基础模型。通过统一框架，PartGLEE 在开放场景下以任何粒度完成检测、分割和 grounding。具体而言，我们提出了 Q-Former 来构建对象与部件之间的层次关系，将每个对象解析为相应的语义部件。通过融合大量对象级数据，这些层次关系得以延伸，使 PartGLEE 能够识别多样化的部件。我们进行了全面研究以验证方法的有效性，PartGLEE 在各种部件级别任务上实现了最先进的性能，并在对象级别任务上取得具竞争力的结果。该提出的 PartGLEE 在层次建模能力和部件级感知方面显著优于我们的前一模型 GLEE。进一步分析表明，PartGLEE 的层次认知能力能够促进 mLLMs 对图像中对象的详细理解。该模型和代码将在 https://provencestar.github.io/PartGLEE-Vision/ 发布。