VistaWise：用于 Minecraft 的跨模态知识图谱构建成本有效智能体
人工智能
2026-03-11 v3
摘要
大型语言模型(LLMs)在虚拟开放世界环境中的具身决策任务中显示出巨大的潜力。然而，其性能受限于缺乏领域特定知识。采用大规模领域特定数据进行微调的methods开发成本高昂。本文引入 VistaWise，一个成本有效的 agent 框架，将跨模态领域知识集成进来，并为视觉分析微调一个专用的对象检测模型。它将对领域特定训练数据的要求从数百万样本降低到少量样本。VistaWise 将视觉信息和文本依赖性整合到跨模态知识图谱(KG)中，实现对多模态环境的全面且准确的理解。我们还为 agent 配备了基于检索的池化策略，从 KG 中提取与任务相关的信息，并配备一个桌面级技能库，以支持通过鼠标和键盘直接操作 Minecraft 桌面客户端。实验结果表明，VistaWise 在各种开放世界任务上实现了最佳性能，凸显了其在降低开发成本的同时提升 agent 性能的有效性。
引用
@article{arxiv.2508.18722,
title = {VistaWise: Building Cost-Effective Agent with Cross-Modal Knowledge Graph for Minecraft},
author = {Honghao Fu and Junlong Ren and Qi Chai and Deheng Ye and Yujun Cai and Hao Wang},
journal= {arXiv preprint arXiv:2508.18722},
year = {2026}
}
备注
Accepted by EMNLP 2025 main