面向人类中心式具身AI的交互式闭环模拟器——FreeAskWorld
人工智能
2025-12-23 v2 人机交互
摘要
随着具身智能作为人工智能研究的核心前沿，模拟平台必须演进 beyond low-level physical interactions to capture complex, human-centered social behaviors。我们引入FreeAskWorld，一个集成大语言模型（LLM）用于高层行为规划和语义驱动交互的交互式模拟框架，受意图与社会认知理论的启发。我们的框架支持可扩展、逼真的人类-智能体模拟，并包括针对多样化具身任务的模块化数据生成管道。为验证该框架，我们将经典的视觉与语言导航（VLN）任务扩展为交互丰富的方向询问设置，其中智能体可以主动寻求并解释导航指导。我们公开发布FreeAskWorld，一个大规模基准数据集，包含重建环境、六种多样化任务类型、16个核心物品类别、63,429个标注样本帧以及超过17小时的交互数据，以支持具身AI系统的训练与评估。我们对VLN模型和人类参与者进行了在开放式循环和封闭式循环下的基准测试。实验结果表明，在FreeAskWorld上微调的模型优于原始模型，实现了增强的语义理解和交互能力。这些发现凸显了社交驱动模拟框架在推动具身AI系统向更高级规划和更自然的人类-智能体交互方面的有效性。重要的是，我们的工作表明，交互本身也是一种额外的信息模态。
引用
@article{arxiv.2511.13524,
title = {FreeAskWorld: An Interactive and Closed-Loop Simulator for Human-Centric Embodied AI},
author = {Yuhang Peng and Yizhou Pan and Xinning He and Jihaoyu Yang and Xinyu Yin and Han Wang and Xiaoji Zheng and Chao Gao and Jiangtao Gong},
journal= {arXiv preprint arXiv:2511.13524},
year = {2025}
}
备注
9 pages, 4 figures