测试再信赖：应用软件测试构建可靠的情境学习
软件工程
2025-09-09 v3 人工智能
摘要
情境学习（ICL）已成为大型语言模型（LLM）的强大能力，使其能够基于少量提供的示例而无需显式微调即可完成新任务。尽管这些模型在适应性方面表现出色，但它们仍对细微的对抗性扰动十分敏感，在面对语言变体时会 exhibit 不可预测的行为。致力于软件测试原则，我们引入一种软件测试启发的框架，称为MMT4NL，用于通过利用对抗性扰动和软件测试技术来评估情境学习的可靠性。它包含多样化的语言能力评估方面，用于测试LLM的情境学习能力。MMT4NL的构建核心思想是从测试集中构建变形对抗性样本，以量化并定位情境学习中所设计提示的各种bug。我们的哲学是将任何LLM视为软件，方法如同测试软件一样来验证其功能。最后，我们在情感分析和问答任务上展示了MMT4NL的应用。我们的实验揭示了当前最先进LLM中各种语言性bug。
引用
@article{arxiv.2504.18827,
title = {Test It Before You Trust It: Applying Software Testing for Trustworthy In-context Learning},
author = {Teeradaj Racharak and Chaiyong Ragkhitwetsagul and Chommakorn Sontesadisai and Thanwadee Sunetnanta},
journal= {arXiv preprint arXiv:2504.18827},
year = {2025}
}