边缘语言模型中的偏见：检测、分析与缓解
机器学习
2025-02-18 v1 性能
机器学习
摘要
将大语言模型（LLM）集成到低功耗边缘设备（如Raspberry Pi）上，即边缘语言模型（ELM），为实现更个性化、更安全且低延迟的语言智能提供了机会，使所有人都能使用。然而，边缘设备固有的资源限制以及语言模型中缺乏稳健的伦理保障措施，对模型输出生成中的公平性、责任性和透明性提出了重大担忧。本文对边缘、云和桌面环境中部署的语言模型进行了基于文本的偏见比较分析，旨在评估部署设置如何影响模型公平性。具体而言，我们考察了在Raspberry Pi 4上运行的优化Llama-2模型；在云服务器上运行的GPT 4o-mini、Gemini-1.5-flash和Grok-beta模型；以及在MacOS桌面机器上运行的Gemma2和Mistral模型。我们的结果表明，在Raspberry Pi 4上运行的Llama-2随时间推移表现出偏见的倾向比在桌面和云环境中运行的模型分别高出43.23%和21.89%。我们还提出了一种反馈循环的实现机制，该机制基于先前输出迭代调整模型行为，在推理过程中逐层应用预定义的约束权重，使模型能够纠正偏见模式，从而实现79.28%的偏见降低。
引用
@article{arxiv.2502.11349,
title = {Biases in Edge Language Models: Detection, Analysis, and Mitigation},
author = {Vinamra Sharma and Danilo Pietro Pau and José Cano},
journal= {arXiv preprint arXiv:2502.11349},
year = {2025}
}
备注
Accepted as a full paper by the 2025 EDGE AI FOUNDATION Austin