Mobile-Agent-V：一种面向移动自动化的视频引导方法
人工智能
2025-06-04 v3 计算与语言
摘要
移动设备使用的指数级增长 necessitates 高效任务管理的简化自动化，但许多AI框架因缺乏操作性专业知识而不足。虽然手动编写的知识可以弥补这一差距，但往往繁琐且效率低下。我们引入Mobile-Agent-V，这一创新框架利用视频作为指导工具，轻松高效地将操作知识注入移动自动化流程。通过从视频内容中直接派生知识，Mobile-Agent-V消除了手动干预，显著减少了知识获取所需的 effort 和时间。为严格评估这一方法，我们提出Mobile-Knowledge，旨在评估外部知识对移动代理性能的影响。我们的实验结果表明，Mobile-Agent-V相较于现有方法提升了36%的性能，凸显了其在移动自动化中轻松高效的优势。
引用
@article{arxiv.2505.13887,
title = {Mobile-Agent-V: A Video-Guided Approach for Effortless and Efficient Operational Knowledge Injection in Mobile Automation},
author = {Junyang Wang and Haiyang Xu and Xi Zhang and Ming Yan and Ji Zhang and Fei Huang and Jitao Sang},
journal= {arXiv preprint arXiv:2505.13887},
year = {2025}
}
备注
I submitted the replacement version as a new article by mistake. Future updates will appear at arXiv:2502.17110