CORE:通过云端与本地大语言模型协作降低移动智能体的 UI 暴露

移动智能体依赖大语言模型(LLM)在智能手机用户界面(UI)上规划并执行任务。尽管基于云端的 LLM 任务准确率高,但其每一步都需要上传完整的 UI 状态,从而暴露了不必要且常常无关的信息。相比之下,本地 LLM 避免了 UI 上传,但能力受限,导致任务成功率较低。我们提出 $\textbf{CORE}$,一种 $\textbf{CO}$llaborative 框架,通过结合云端与本地 LLM 的优势来 $\textbf{R}$educe UI $\textbf{E}$xposure,同时保持移动智能体的任务准确率。CORE 包含三个关键组件:(1) $\textbf{Layout-aware block partitioning}$,基于 XML 屏幕层次结构将语义相关的 UI 元素分组;(2) $\textbf{Co-planning}$,由本地与云端 LLM 协作识别当前子任务;(3) $\textbf{Co-decision-making}$,由本地 LLM 对相关 UI 块进行排序,云端 LLM 在排名最高的块内选择具体的 UI 元素。CORE 还引入了多轮累积机制,以缓解本地误判或上下文受限的问题。在多种移动应用与任务上的实验表明,CORE 在将 UI 暴露降低高达 55.6% 的同时,任务成功率仅略低于纯云端智能体,有效缓解了向云端的不必要隐私暴露。代码已开源于 https://github.com/Entropy-Fighter/CORE。