ABFS：面向LLM-based NLP 软件的自然鲁棒性测试
软件工程
2025-03-04 v1
摘要
鉴于大型语言模型（LLM）在自然语言处理（NLP）任务中显示的卓越性能，基于LLM的NLP 软件正在快速在诸如金融分析和内容审查等多个领域获得应用。然而，这些应用经常存在鲁棒性不足的问题，即输入（提示+示例）的微小扰动可能导致错误输出。当前的鲁棒性测试方法面临两个主要局限性：（1）测试有效性低，限制了LLM-based软件在安全关键场景中的适用性；（2）测试案例的自然性不足，降低了测试结果的实际价值。为此，本文提出ABFS方法，一种简单而有效的自动化测试方法，该方法首次将输入提示和示例视为统一整体进行鲁棒性测试。具体而言，ABFS将测试过程形式化为组合优化问题，采用最佳优先搜索（Best-First Search）识别扰动空间中的成功测试案例，并设计一种新颖的自适应控制策略以提升测试案例的自然性。我们在三个数据集上针对五种威胁模型评估了ABFS的鲁棒性测试性能。在Llama2-13b 上，传统StressTest 仅实现了13.273%的成功率，而ABFS实现了98.064%的成功率，支持更全面的软件部署前鲁棒性评估。相对于基线方法，ABFS对原始输入的修改次数更少，始终生成更具自然性的测试案例。此外，ABFS生成的测试案例具有更强的可迁移性和更高的测试效率，显著降低了测试成本。
引用
@article{arxiv.2503.01319,
title = {ABFS: Natural Robustness Testing for LLM-based NLP Software},
author = {Mingxuan Xiao and Yan Xiao and Shunhui Ji and Yunhe Li and Lei Xue and Pengcheng Zhang},
journal= {arXiv preprint arXiv:2503.01319},
year = {2025}
}