BTC-SAM：利用大语言模型生成情感分析模型的偏见测试用例
计算与语言
2025-10-16 v2
摘要
情感分析（SA）模型蕴含固有的社会偏见，可能在实际应用中造成伤害。这些偏见通过检查 SA 模型对仅在主体身份群体不同的情况下的句子输出来识别。构建自然、语言丰富、相关且多样的句子集合，以覆盖领域内广泛的偏见，成本高昂，尤其需要领域专家和/或众包。在本文中，我们提出一种新颖的偏见测试框架 BTC-SAM，通过利用大语言模型（LLM）生成 SA 模型的高质量测试用例，实现对测试句子的可控生成。我们的实验表明，依赖 LLM 可在测试句子中提供更好的语言变异和多样性，从而相较于基础提示方法提供更好的测试覆盖率，甚至适用于以前未见过的偏见。
引用
@article{arxiv.2509.24101,
title = {BTC-SAM: Leveraging LLMs for Generation of Bias Test Cases for Sentiment Analysis Models},
author = {Zsolt T. Kardkovacs and Lynda Djennane and Anna Field and Boualem Benatallah and Yacine Gaci and Fabio Casati and Walid Gaaloul},
journal= {arXiv preprint arXiv:2509.24101},
year = {2025}
}
备注
Accepted at EMNLP 2025 main conference