AccessEval：评估大语言模型中的残障偏见
计算与语言
2025-09-30 v1 人工智能
计算机与社会
摘要
大语言模型（LLMs）越来越多地部署在各个领域，但在处理现实生活中的查询时常常表现出差异。为了系统地研究各种残障情境下的这些影响，我们引入了AccessEval（无障碍评估），这是一个基准测试，它使用成对的中性查询和残障感知查询，在6个现实世界领域和9种残障类型上评估了21个闭源和开源LLM。我们使用情感、社会感知和事实准确性等指标评估了模型输出。我们的分析表明，与中性查询相比，对残障感知查询的回复往往带有更负面的语气、更多的刻板印象和更高的事实错误。这些影响因领域和残障类型而异，其中影响听力、言语和行动能力的残障受到的影响尤为严重。这些差异反映了模型行为中根深蒂固的残障歧视形式。通过考察模型在现实世界决策情境中的表现，我们更好地阐明了此类偏见如何转化为对残障用户的实际伤害。这种框架有助于弥合技术评估与用户影响之间的差距，强调了在日常应用中减轻偏见的重要性。我们的数据集可在以下网址公开获取：https://huggingface.co/datasets/Srikant86/AccessEval
引用
@article{arxiv.2509.22703,
title = {AccessEval: Benchmarking Disability Bias in Large Language Models},
author = {Srikant Panda and Amit Agarwal and Hitesh Laxmichand Patel},
journal= {arXiv preprint arXiv:2509.22703},
year = {2025}
}