UI-Venus 技术报告：基于 RFT 构建高性能 UI 代理
计算机视觉与模式识别
2025-08-18 v2
摘要
我们 presented UI-Venus，这是一个仅基于截图输入的原生 UI 代理，运用于多模态大语言模型。UI-Venus 通过基于 Qwen2.5-VL 的强化微调（RFT）在 UI 定位和导航任务上实现了SOTA性能。具体而言，UI-Venus的7B和72B变体在标准基准测试中分别取得了94.1%/50.8%和95.3%/61.9%的成绩，分别对应Screenspot-V2和Pro数据集，超越了包括开源GTA1和闭源UI-TARS-1.5在内的前SOTA基线。为展示UI-Venus的摘要与规划能力，我们还在AndroidWorld这一在线 UI 导航竞技场上进行了评估，7B和72B变体分别实现了49.1%和65.9%的成功率，同样超越了现有模型。为实现上述目标，我们引入了针对 UI 定位和导航任务的精心设计的奖励函数，以及相应的高效数据清洗策略。为进一步提升导航性能，我们提出了自演化轨迹历史对齐与稀疏动作增强方法，通过细化历史推理轨迹并平衡稀疏但关键动作的分布，实现更连贯的规划和复杂 UI 任务中的更好泛化。我们的贡献包括发布SOTA开源 UI 代理、全面的数据清洗协议以及改善导航性能的新型自演化框架，鼓励社区进一步开展研究与开发。代码已公开于 https://github.com/inclusionAI/UI-Venus。
关键词
引用
@article{arxiv.2508.10833,
title = {UI-Venus Technical Report: Building High-performance UI Agents with RFT},
author = {Zhangxuan Gu and Zhengwen Zeng and Zhenyu Xu and Xingran Zhou and Shuheng Shen and Yunfei Liu and Beitong Zhou and Changhua Meng and Tianyu Xia and Weizhi Chen and Yue Wen and Jingya Dou and Fei Tang and Jinzhen Lin and Yulin Liu and Zhenlin Guo and Yichen Gong and Heng Jia and Changlong Gao and Yuan Guo and Yong Deng and Zhenyu Guo and Liang Chen and Weiqiang Wang},
journal= {arXiv preprint arXiv:2508.10833},
year = {2025}
}