基于最新YOLO深度学习模型的 GUI 元素检测
计算机视觉与模式识别
2024-08-08 v1 软件工程
摘要
GUI（图形用户界面）元素检测是自动从图像和草图生成代码、GUI 测试以及 GUI 搜索的关键任务。近期研究既利用传统的计算机视觉技术，也采用现代方法。传统方法运用经典图像处理算法（如边缘检测和轮廓检测），而现代方法则使用成熟的深度学习解决方案处理通用目标检测任务。然而，GUI 元素检测是一种特定于领域的目标检测，在此场景中，对象更常发生重叠，且彼此距离较近；此外，类别数量显著低于自然图像，但图像中的对象数量更多。因此，针对 GUI 元素检测进行的各种目标检测模型比较研究，可能不适用于此场景。本研究评估了四个最新在通用目标检测任务中表现突出的 YOLO 模型在 GUI 元素检测中的性能，并探讨其在检测各种 GUI 元素时的数据精度表现。
引用
@article{arxiv.2408.03507,
title = {GUI Element Detection Using SOTA YOLO Deep Learning Models},
author = {Seyed Shayan Daneshvar and Shaowei Wang},
journal= {arXiv preprint arXiv:2408.03507},
year = {2024}
}