COCO-Tree：用于增强视觉语言模型推理的构面分层概念树
计算机视觉与模式识别
2025-10-14 v1
摘要
构面推理仍是现代视觉语言模型(VLM)的一个持久弱点：它们常常在任务依赖于理解多个对象、属性和关系如何在图像中相互作用时走弱。多个研究工作尝试通过创意技巧如改进提示结构、链式思考等来提高构面性能。更近期的工作尝试使用经过训练的大型语言模型(LLM)来为VLMs提供额外的推理，由于VLMs在语言理解方面远优于VLMs来弥补其语言才能的局限。然而，这些方法要么资源密集，要么不提供可解释的推理过程。本文提出' COCO-Tree' -一种新方法，通过从LLM中学习的精心设计的神经符号概念树来增强VLM输出，以提高VLMs的语言推理。COCO-Tree的基于光束搜索的推理过程提升了构面性能并为VLM预测提供了依据。经验结果表明，在七种不同大小的开源VLM中，COCO-Tree在四个构面基准测试上显著提高了构面泛化性能，提升幅度为5-10%。
引用
@article{arxiv.2510.11012,
title = {COCO-Tree: Compositional Hierarchical Concept Trees for Enhanced Reasoning in Vision Language Models},
author = {Sanchit Sinha and Guangzhi Xiong and Aidong Zhang},
journal= {arXiv preprint arXiv:2510.11012},
year = {2025}
}
备注
EMNLP 2025 (main)