揭示与缓解大语言模型在精神健康分析中的偏见
计算与语言
2024-06-21 v2
摘要
大语言模型（LLM）的发展在 various applications 中展现出强大的能力，包括精神健康分析。然而，既有研究仅关注预测性能，忽略了公平性这一关键问题，为脆弱人群带来显著风险。尽管已认识到潜在偏见，但以往作品缺乏对这些偏见及其影响的彻底调查。为填补这一差距，我们在八个多样化的精神健康数据集上，使用十个具有不同提示方法的 LLM，对七个社会因素（例如性别、年龄、宗教）进行偏见系统评估。我们的结果表明，GPT-4 在性能和公平性之间实现了最佳整体平衡，尽管在某些情况下仍不及专门针对精神健康的模型如 MentalRoBERTa。此外，我们的定制公平性感知提示词能够有效缓解精神健康预测中的偏见，凸显了该领域公平分析的巨大潜力。
引用
@article{arxiv.2406.12033,
title = {Unveiling and Mitigating Bias in Mental Health Analysis with Large Language Models},
author = {Yuqing Wang and Yun Zhao and Sara Alessandra Keller and Anne de Hond and Marieke M. van Buchem and Malvika Pillai and Tina Hernandez-Boussard},
journal= {arXiv preprint arXiv:2406.12033},
year = {2024}
}
备注
In submission; Data and code are available at: https://github.com/EternityYW/BiasEval-LLM-MentalHealth