See-Control：面向智能手机与机械臂交互的多模态智能体框架
人工智能
2025-12-10 v1 计算机视觉与模式识别
人机交互
摘要
多模态大语言模型（MLLM）的最新进展使其能够作为智能手机操作的智能体。然而，现有方法依赖于Android调试桥（ADB）进行数据传输和动作执行，这限制了其在Android设备上的适用性。在这项工作中，我们引入了新颖的具身智能手机操作（ESO）任务，并提出了See-Control框架，该框架通过与低自由度机械臂的直接物理交互来实现智能手机操作，提供了一个平台无关的解决方案。See-Control包含三个关键组件：（1）一个包含155个任务和相应评估指标的ESO基准；（2）一个基于MLLM的具身智能体，无需ADB或系统后端访问即可生成机器人控制命令；（3）一个丰富标注的操作片段数据集，为未来研究提供宝贵的资源。通过弥合数字智能体与物理世界之间的差距，See-Control为实现家庭机器人在真实环境中执行依赖智能手机的任务迈出了具体一步。
引用
@article{arxiv.2512.08629,
title = {See-Control: A Multimodal Agent Framework for Smartphone Interaction with a Robotic Arm},
author = {Haoyu Zhao and Weizhong Ding and Yuhao Yang and Zheng Tian and Linyi Yang and Kun Shao and Jun Wang},
journal= {arXiv preprint arXiv:2512.08629},
year = {2025}
}