PixelWeb：首个带像素级标签的 Web GUI 数据集
计算机视觉与模式识别
2025-04-29 v2 人工智能
人机交互
摘要
图形用户界面(GUI)数据集对于各种下游任务至关重要。然而，GUI数据集通常通过自动标注生成注释信息，这常常导致不准确的GUI元素边界框(BBox)标注，包括缺失、重复或无意义的BBox。这些问题会降低基于这些数据集训练的模型性能，限制其在实际应用中的效果。此外，现有的GUI数据集仅提供视觉上的BBox标注，这限制了与视觉相关GUI下游任务的开发。为解决这些问题，我们引入PixelWeb，一个包含超过100,000个已标注网页的大型GUI数据集。PixelWeb采用一种新型自动标注方法构建，集成了视觉特征提取和文档对象模型(DOM)结构分析，包含两个核心模块：通道推导和图层分析。通道推导通过提取BGRA四通道位图标注，确保在遮挡和重叠元素情况下对GUI元素的准确定位。图层分析利用DOM确定元素的可见性和堆叠顺序，提供精确的BBox标注。此外，PixelWeb包括元素图像、轮廓和掩码标注等详细元数据。三个独立标注员的手动验证确认了PixelWeb标注的高质量和准确性。基于GUI元素检测任务的实验结果表明，PixelWeb在mAP95指标上比现有数据集高出3-7倍。我们认为PixelWeb在GUI生成和自动化用户交互等下游任务中具有显著的性能提升潜力。
引用
@article{arxiv.2504.16419,
title = {PixelWeb: The First Web GUI Dataset with Pixel-Wise Labels},
author = {Qi Yang and Weichen Bi and Haiyang Shen and Yaoqi Guo and Yun Ma},
journal= {arXiv preprint arXiv:2504.16419},
year = {2025}
}