RWKV-UI：基于增强感知与推理的界面理解
计算机视觉与模式识别
2025-02-07 v1 人机交互
摘要
现有的视觉语言模型在处理高分辨率网页界面时，常因信息丢失和推理能力受限而难以处理，这些界面复合了复杂的视觉、文本和交互元素。这些挑战在需要网页布局理解和多步骤交互推理的任务中尤为突出。为此，我们提出了RWKV-UI，一种基于RWKV架构的视觉语言模型，专为处理高分辨率界面图像而设计。在模型训练期间，我们引入布局检测作为视觉提示，以帮助模型更好地理解网页布局结构。此外，我们设计了基于链式思维(CoT)机制的视觉提示，通过推理链增强模型对网页内容的理解和推理能力。实验结果表明，RWKV-UI在高分辨率界面理解和交互推理任务方面显著提升了性能。
引用
@article{arxiv.2502.03971,
title = {RWKV-UI: UI Understanding with Enhanced Perception and Reasoning},
author = {Jiaxi Yang and Haowen Hou},
journal= {arXiv preprint arXiv:2502.03971},
year = {2025}
}
备注
10 pages, 5figures, conference