LLM BiasScope：用于比较型 LLM 评估的实时偏见分析平台
计算与语言
2026-03-30 v1 人工智能
计算机与社会
人机交互
摘要
随着大型语言模型(LLM)的广泛部署，检测和理解其输出中的偏见至关重要。我们提出 LLM BiasScope，一个用于比较 LLM 输出并进行实时偏见分析的网页应用程序。系统支持多个提供商(Google Gemini、DeepSeek、MiniMax、Mistral、Meituan、Meta Llama)，使研究人员和实践者能够在相同提示词下比较模型，同时分析偏见模式。LLM BiasScope 使用两阶段偏见检测流程：句子级偏见检测 followed by 偏见类型分类。分析自动运行在用户提示词和模型响应上，提供统计数据、可视化效果和偏见类型的详细分解。界面以并排显示两个模型，配有同步流式响应、每个模型的偏见摘要，以及突出显示偏见分布差异的比较视图。系统基于 Next.js 和 React构建，集成 Hugging Face 推理端点进行偏见检测，使用 Vercel AI SDK 实现多提供商 LLM 访问。功能包括实时流式传输、JSON/PDF 导出，以及用于偏见分析的交互式可视化(柱状图、雷达图)。LLM BiasScope 以开源网页应用程序形式提供，为偏见评估和 LLM 行为比较分析提供了实用工具。
引用
@article{arxiv.2603.12522,
title = {LLM BiasScope: A Real-Time Bias Analysis Platform for Comparative LLM Evaluation},
author = {Himel Ghosh and Nick Elias Werner},
journal= {arXiv preprint arXiv:2603.12522},
year = {2026}
}
备注
Accepted at EACL 2026 (24-29 March, Morocco)