多模态数据存储与检索:具身 AI 的综述
机器人学
2025-08-20 v1 计算机视觉与模式识别
摘要
具身人工智能 (Embodied AI, EAI) 代理持续与物理世界交互,产生大量异构的多模态数据流,传统管理系统已不足以应对。本综述首先系统评估了五种存储架构(图数据库、多模型数据库、数据湖、向量数据库和时序数据库),聚焦其针对 EAI 核心需求(包括物理 grounding、低延迟访问和动态可扩展性)的适用性。随后分析了五种检索范式(基于融合策略的检索、基于表示对齐的检索、基于图结构的检索、基于生成模型的检索以及基于高效检索的优化),揭示了在实现长期语义一致性与维持实时响应性之间存在的根本性张力。基于这一全面分析,我们识别出从基础物理 grounding 缺口到跨模态集成、动态适应和开放世界泛化等系统性挑战的关键瓶颈。最后,我们勾勒了一项前瞻性研究议程,涵盖物理感知数据模型、自适应存储-检索联合优化以及标准化基准测试,以为未来研究指向原则化的数据管理解决方案指明方向。本综述基于对 180 多篇相关研究的全面审阅,为设计下一代自主具身系统所必需的稳健、高性能数据管理框架提供了严谨的路线图。
引用
@article{arxiv.2508.13901,
title = {Multimodal Data Storage and Retrieval for Embodied AI: A Survey},
author = {Yihao Lu and Hao Tang},
journal= {arXiv preprint arXiv:2508.13901},
year = {2025}
}