通过自动化测试评估 LLM 基于 NLP 软件的鲁棒性
软件工程
2025-03-18 v2
摘要
得益于 LLM 的发展, NLP 软件正经历快速发展. 这种软件广泛应用于各种安全关键任务中, 如金融情感分析、有毒内容审核和日志生成. 不同于传统软件, LLM 基于 NLP 软件依赖提示和示例作为输入. 鉴于 LLM 的复杂性以及现实输入的不可预测性, 对此类软件鲁棒性的定量评估至关重要. 然而, 根据我们所知, 没有专门针对评估 LLM 基于软件整体输入的方法进行自动化鲁棒性测试. 为此, 本文引入了第一个自动化鲁棒性测试框架 AORTA, 该框架将测试过程重新构构为组合优化问题. 可以将现有针对 DNN 基于软件的测试方法应用于 LLM 基于软件, 但 AORTA 的有效性有限. 为解决此问题, 我们在 AORTA 中提出一种名为自适应光束搜索的新型测试方法, 即 ABS. ABS 针对 LLM 的广泛特征空间进行优化, 通过自适应光束宽度和回溯能力提高测试效果. 我们成功地在设计的框架 AORTA 中嵌入了 18 种测试方法, 并对比了 ABS 与三个数据集和五种威胁模型的测试有效性. ABS 在软件部署前实现更全面和准确的鲁棒性评估, 平均测试成功率为 86.138%. 与当前表现最好的基线 PWWS 相比, ABS 每个成功测试案例的计算开销降低最高可达 3441.895 秒, 平均查询次数减少 218.762 倍. 此外, ABS 生成的测试案例具有更大的自然性和可迁移性.
引用
@article{arxiv.2412.21016,
title = {Assessing the Robustness of LLM-based NLP Software via Automated Testing},
author = {Mingxuan Xiao and Yan Xiao and Shunhui Ji and Hanbo Cai and Lei Xue and Pengcheng Zhang},
journal= {arXiv preprint arXiv:2412.21016},
year = {2025}
}