LangBiTe：一个用于测试大型语言模型偏见的平台
软件工程
2025-07-24 v2 人工智能
摘要
将大型语言模型（LLM）整合到各种软件应用中引发了对其潜在偏见的担忧。通常，这些模型在从论坛、网站、社交媒体和其他互联网来源抓取的大量数据上进行训练，这可能会将有害和歧视性行为植入模型中。为了解决这个问题，我们提出了 LangBiTe，这是一个用于系统评估 LLM 内部偏见存在的测试平台。LangBiTe 使开发团队能够定制其测试场景，并根据一组用户定义的伦理要求自动生成和执行测试用例。每个测试由输入到 LLM 的提示词和相应的测试预言机组成，后者审查 LLM 的响应以识别偏见。LangBiTe 为用户提供 LLM 的偏见评估，以及初始伦理要求与所得见解之间的端到端可追溯性。
引用
@article{arxiv.2404.18558,
title = {LangBiTe: A Platform for Testing Bias in Large Language Models},
author = {Sergio Morales and Robert Clarisó and Jordi Cabot},
journal= {arXiv preprint arXiv:2404.18558},
year = {2025}
}