多模态轨迹建模的通用检索
人工智能
2025-06-30 v1
摘要
轨迹数据捕捉人类动作和环境状态的多种模态信息，具有显著的潜力，用于增强 AI 智能体的能力，尤其是在 GUI 环境中。然而，如何系统性地建模轨迹级别数据的表示在轨迹数据快速增长的背景下尚未得到充分解决。本文引入了多模态轨迹检索，弥合了通用检索与智能体中心轨迹建模之间的鸿沟。我们从注释演示和各种真实场景下的状态中构建了统一智能体轨迹数据集（UATD）。基于此，我们提出了包含大量轨迹检索对的 GAE-Bench 基准测试。此外，我们提出了 GAE-Retriever，一种采用视觉语言模型并通过 token 选择和 GradCache 机制整合优化对比学习的多模态检索框架。广泛的实验评估表明，GAE-Retriever 在检索召回率方面 consistently 优于强大的基线方法，凸显了其在推动多模态轨迹检索方面的有效性。
引用
@article{arxiv.2506.22056,
title = {Universal Retrieval for Multimodal Trajectory Modeling},
author = {Xuan Zhang and Ziyan Jiang and Rui Meng and Yifei Leng and Zhenbang Xiao and Zora Zhiruo Wang and Yanyi Shang and Dehan Kong},
journal= {arXiv preprint arXiv:2506.22056},
year = {2025}
}
备注
18 pages, 3 figures, accepted by Workshop on Computer-use Agents @ ICML 2025