RBCTest：利用 LLM 挖掘和验证 RESTful API 响应主体的或acles
软件工程
2025-12-22 v3
摘要
在API测试中，派生API响应主体逻辑约束用于生成测试用例和执行自动化测试至关重要。然而，现有方法局限于动态分析，即通过执行系统下的API从而提取或acles。本文提出了一种补充的基于 LLM 的静态方法，即从API规范中挖掘响应主体的约束。我们利用大型语言模型（LLM）来理解API规范、挖掘响应主体的约束并生成测试用例。为减少LLM幻觉，我们应用了观察-确认（OC）方案，该方案使用初始提示来上下文化约束，允许后续提示更准确地确认其存在。我们的实证结果表明，RBCTest 在约束挖掘中实现了高精度，平均分为 85.1%至 93.6%。它在从挖掘的约束生成测试用例方面也表现良好，精度范围为 86.4%至 91.7%。我们进一步使用 RBCTest 生成的测试用例检测到了 19 个真实世界API中 46 个规范与实际响应数据之间的不匹配。其中 4 个不匹配在开发者论坛上被报告。
引用
@article{arxiv.2504.17287,
title = {RBCTest: Leveraging LLMs to Mine and Verify Oracles of API Response Bodies for RESTful API Testing},
author = {Hieu Huynh and Tri Le and Tu Nguyen and Viet Nguyen and Vu Nguyen and Tien N. Nguyen},
journal= {arXiv preprint arXiv:2504.17287},
year = {2025}
}
备注
The paper is accepted to ICSE 2026