轻量级神经应用控制
人工智能
2025-02-13 v2
摘要
本文提出了一种新颖的手机控制架构——轻量级多模态应用控制（LiMAC），用于在各种安卓应用间实现高效交互与控制。LiMAC 以文本目标以及一系列过去的移动观测（如截图和对应的 UI 树）作为输入，生成精确的动作。为解决智能手机固有的计算约束，我们引入了一个小型动作 Transformer（AcT），并与微调后的视觉语言模型（VLM）集成，用于实时决策和任务执行。我们在两个开源手机控制数据集上评估了 LiMAC，结果表明我们的小型化方法在性能上优于微调后的开源 VLM（如 Florence2 和 Qwen2-VL）版本。它还显著优于利用闭源基础模型（如 GPT-4o）的提示工程基线。具体而言，与微调后的 VLM 相比，LiMAC 将整体动作准确率提高了高达 19%，与提示工程基线相比提高了高达 42%。
引用
@article{arxiv.2410.17883,
title = {Lightweight Neural App Control},
author = {Filippos Christianos and Georgios Papoudakis and Thomas Coste and Jianye Hao and Jun Wang and Kun Shao},
journal= {arXiv preprint arXiv:2410.17883},
year = {2025}
}
备注
ICLR 2025 (spotlight)