通过解释一致性检查引导 ChatGPT 修复 Web UI 测试
软件工程
2025-01-23 v3
摘要
Web UI 的快速演变导致 UI 测试维护耗费大量时间和精力。以往的 Web UI 测试修复技术侧重于在新网页上定位与旧元素匹配的目标元素，以便修复相应的损坏语句。这些技术通常依赖于在匹配过程中优先考虑某些属性（例如 XPath），其中某些属性的相似度排在其他属性之前，这表明在匹配过程中可能存在对某些属性的偏向。为了缓解这种偏向，我们提出了首项研究，探讨使用以往 Web UI 修复技术进行初始匹配，然后使用 ChatGPT 执行后续匹配的可行性。我们的核心洞察是，给定由以往技术匹配的元素列表，ChatGPT 可以利用语言理解能力执行后续匹配，并使用其代码生成模型修复损坏的语句。为了缓解 ChatGPT 中的幻觉问题，我们设计了一个解释验证器，用于检查为匹配结果提供的解释是否一致，并通过自我纠正提示向 ChatGPT 提供提示，以进一步改善其结果。我们在广泛使用的数据集上的评估表明，增强 ChatGPT 的技术提高了现有 Web 测试修复技术的有效性。我们的研究还分享了改进未来 Web UI 测试修复技术的若干重要见解。
引用
@article{arxiv.2312.05778,
title = {Guiding ChatGPT to Fix Web UI Tests via Explanation-Consistency Checking},
author = {Zhuolin Xu and Qiushi Li and Shin Hwei Tan},
journal= {arXiv preprint arXiv:2312.05778},
year = {2025}
}
备注
Accepted at the International Conference on Software Testing, Verification and Validation (ICST) 2025