利用大语言模型改进 Web 元素定位
软件工程
2023-10-04 v1
摘要
基于 Web 的测试自动化严重依赖准确查找 Web 元素。传统方法比较属性，但无法理解元素与词语的上下文和语义。像 GPT-4 这样的大语言模型（LLMs）在某些任务上可展现类人推理能力，为软件工程与 Web 元素定位带来新机遇。本文提出并评估 VON Similo LLM，一种增强的 Web 元素定位方法。它利用 LLM 从现有 VON Similo 方法识别出的排名靠前的元素中选出最可能的 Web 元素，理想情况下力求接近类人选择精度。实验研究使用来自 48 个真实 Web 应用的 804 对 Web 元素。我们度量正确识别的元素数量及执行时间，对比 VON Similo LLM 与基线算法的有效性与效率。此外，针对原方法未能找到正确 Web 元素的所有实例，记录并分析了 LLM 的动机。VON Similo LLM 表现出性能提升，将定位失败数从 70 降至 39（共 804），降低 44%。尽管执行较慢且使用 GPT-4 模型有额外成本，LLM 的类人推理在增强 Web 元素定位方面展现潜力。LLM 技术可提升 GUI 测试自动化中的 Web 元素识别，减少误报并潜在降低维护成本。然而，仍需进一步研究以充分理解 LLM 在 GUI 测试中的能力、局限与实用价值。
引用
@article{arxiv.2310.02046,
title = {Improving web element localization by using a large language model},
author = {Michel Nass and Emil Alegroth and Robert Feldt},
journal= {arXiv preprint arXiv:2310.02046},
year = {2023}
}