基于大语言模型的联系中心代理质量保证系统的反事实公平性评估
计算与语言
2026-02-17 v1
摘要
大语言模型（LLMs）日益被部署在联系中心质量保证（QA）中，用于自动化代理绩效评估和 coaching反馈。尽管 LLMs 提供了前所未有的可扩展性和速度，但其依赖大规模网络训练数据可能引入人口统计学和行为偏见，从而扭曲 workforce评估。我们对 LLM-based QA 系统进行反事实公平性评估，涵盖 13 个维度，分为 Identity、Context 和 Behavioral Style 三个类别。通过反事实翻转率（CFR）衡量公平性，该指标衡量二元判断翻转的频率；以及平均绝对得分差（MASD），该指标衡量反事实配对后 coaching 或 confidence 评分的平均变化。我们在 3000 份真实联系中心 transcript 上评估了 18 个 LLM，发现系统性差异，其中 CFR 范围为 5.4% 到 13.0%，且在 confidence、positive 和 improvement 评分中一致呈现 MASD 偏移。较大的、更强对齐的模型表现出较低的不公平性，但公平性并不跟随准确性。对历史绩效进行情境化引导会导致最严重的退化（CFR 最高达 16.4%），而隐式语言身份线索仍是持久的偏见来源。最后，我们分析了公平性感知式提示的有效性，发现明确指令仅能在评估一致性方面带来有限的改进。我们的发现强调，在将 LLM 部署到高风险 workforce 评估领域之前，需要标准化的公平性审计管道。
引用
@article{arxiv.2602.14970,
title = {Counterfactual Fairness Evaluation of LLM-Based Contact Center Agent Quality Assurance System},
author = {Kawin Mayilvaghanan and Siddhant Gupta and Ayush Kumar},
journal= {arXiv preprint arXiv:2602.14970},
year = {2026}
}