CHOP：受约束高频优化子任务规划的移动操作助手
人工智能
2025-03-06 v1
摘要
视觉语言模型（VLMs）的发展增强了移动设备的操作，允许模拟人类动作以满足用户需求。当前的 VLM 基于移动操作助手可结构化为三个层次：任务、子任务和动作。子任务层面将高层目标与可由下层代理执行的低层动作关联起来，对任务完成至关重要，但面临两个挑战：无法有效的子任务导致下层代理无法执行，以及效率低下的子任务未能为完成高层任务作出贡献。这些挑战源于 VLM 在 GUI 场景下分解子任务的经验不足，尤其是在多智能体架构中。为此，我们提出一种受约束高频优化规划（CHOP）的新型移动助手架构。我们的方案通过采用人类规划的子任务作为基准向量，克服了 VLM 在 GUI 场景下的规划不足。我们在中英文语境中针对 20 个应用进行了评估，显著提升了有效性和效率。我们的数据集和代码已在 https://github.com/Yuqi-Zhou/CHOP 上提供。
引用
@article{arxiv.2503.03743,
title = {CHOP: Mobile Operating Assistant with Constrained High-frequency Optimized Subtask Planning},
author = {Yuqi Zhou and Shuai Wang and Sunhao Dai and Qinglin Jia and Zhaocheng Du and Zhenhua Dong and Jun Xu},
journal= {arXiv preprint arXiv:2503.03743},
year = {2025}
}