Screen2AX：面向macOS无障碍生成的视觉基方法
机器学习
2025-07-23 v1 人工智能
计算机视觉与模式识别
人机交互
摘要
桌面无障碍元数据使AI代理能够解释屏幕，支持依赖屏幕阅读器等工具的用户。然而，许多应用程序因开发者提供的元数据不完整或缺失而基本不可访问——我们的调查显示，仅有33%的macOS应用程序提供完整的无障碍支持。虽然最近的工作在结构化屏幕表示方面主要针对特定挑战（如UI元素检测或标注），但从未尝试捕获桌面界面完整复杂性，通过复制其整个层次结构来实现。为填补这一差距，我们引入Screen2AX——首个能够从单个屏幕截图中自动创建实时、树状无障碍元数据的框架。该方法使用视觉语言和目标检测模型来检测、描述和以层次方式组织UI元素，镜像macOS系统级无障碍结构。在针对macOS桌面应用程序数据有限的挑战下，我们编译并公开发布了三个数据集，包含112个macOS应用程序，每个应用程序都标注了UI元素检测、分组和层次化无障碍元数据，以及对应的屏幕截图。Screen2AX准确地推断层次树结构，在重建完整无障碍树方面实现了77%的F1分数。关键的是，这些层次树结构提高了自主代理解释和与复杂桌面界面交互的能力。我们引入Screen2AX-Task，一个专为评估在macOS桌面环境下自主代理任务执行而设计的基准。使用这个基准，我们展示Screen2AX在本机无障碍表示之上实现了2.2倍的性能提升，并在ScreenSpot基准上超越了最先进的OmniParser V2系统。
引用
@article{arxiv.2507.16704,
title = {Screen2AX: Vision-Based Approach for Automatic macOS Accessibility Generation},
author = {Viktor Muryn and Marta Sumyk and Mariya Hirna and Sofiya Garkot and Maksym Shamrai},
journal= {arXiv preprint arXiv:2507.16704},
year = {2025}
}