CrafText 基准：复杂多模态开放式世界指令跟随基准
人工智能
2025-05-20 v1
摘要
在真实世界条件下遵循指令需要适应世界的波动性与交织性：环境动态且不可预测，指令可能在语言上较为复杂且词汇丰富，智能体可能遭遇的目标数量庞大。尽管此领域研究已颇为广泛，但大多数研究在静态环境中进行，指令简单且词汇有限，难以评估在更具多样性和挑战性的情境下的智能体性能。为此本文引入 CrafText，一个用于评估在多模态环境中遵循指令的基准测试，涵盖多样化指令与动态交互。CrafText 包含 3,924 条指令，涉及 3,423 个独特词汇，覆盖局部化、条件、建造与成就等任务。此外，我们提出一种评估协议，衡量智能体对新指令表述的泛化能力以及动态演化任务配置的适应能力，为语言理解与自适应决策提供严格测试。
引用
@article{arxiv.2505.11962,
title = {CrafText Benchmark: Advancing Instruction Following in Complex Multimodal Open-Ended World},
author = {Zoya Volovikova and Gregory Gorbov and Petr Kuderov and Aleksandr I. Panov and Alexey Skrynnik},
journal= {arXiv preprint arXiv:2505.11962},
year = {2025}
}