对抗电商搜索中的漏检召回：一种基于思维链提示的测试方法
软件工程
2024-07-01 v1
摘要
电商应用中的搜索组件通常是复杂的基于人工智能的系统，容易出现漏检召回的 bug——即本应出现在搜索结果中的物品未被列出。这会让商家沮丧并损害应用的盈利能力。然而，由于难以生成与用户一致的测试用例且缺乏 oracle，测试漏检召回具有挑战性。本文引入 mrDetector，即第一个专为漏检召回设计的自动化测试方法。为解决测试用例生成问题，我们利用用户在搜索过程中构建查询的经验，创建思维链提示词，通过大语言模型生成与用户一致的查询。此外，我们学习创建多个查询的单一商铺的用户行为，并通过一种变形关系提供测试 oracle。大量使用公开数据的实验表明，mrDetector 在所有基线方法中以最低的误报率获胜。使用真实工业数据实验显示，mrDetector仅通过 17 个误报就发现了超过一百个漏检召回。
引用
@article{arxiv.2406.19633,
title = {Combating Missed Recalls in E-commerce Search: A CoT-Prompting Testing Approach},
author = {Shengnan Wu and Yongxiang Hu and Yingchuan Wang and Jiazhen Gu and Jin Meng and Liujie Fan and Zhongshi Luan and Xin Wang and Yangfan Zhou},
journal= {arXiv preprint arXiv:2406.19633},
year = {2024}
}
备注
Companion Proceedings of the 32nd ACM International Conference on the Foundations of Software Engineering (FSE Companion '24), July 15--19, 2024, Porto de Galinhas, Brazil