面向区块链的开源语言模型公平性评估透明协议
计算与语言
2025-08-15 v1
摘要
大型语言模型(LLM)正在越来越多地部署到实际应用中，但其公平性问题尤其在像刑事司法、教育、医疗和金融等高风险领域仍存疑虑。本文介绍了用于对开源LLM公平性进行基准测试的透明评估协议，该协议在Internet Computer Protocol(ICP)区块链上使用智能合约实现(Foundation, 2023)。我们的方法通过在链上执行HTTP请求到托管的Hugging Face端点，并将数据集、提示和指标直接存储在链上，确保可验证、不可变且可重复的评估。在PISA数据集上对Llama、DeepSeek和Mistral模型进行基准测试，用于学术表现预测( OECD, 2018)，适合公平性评估，使用统计公平性和平等机会指标( Hardt等, 2016)。我们还评估了从StereoSet数据集( Nadeem等, 2020)派生的结构化Context关联指标，以衡量情境中社会偏见。我们进一步通过使用Kaleidoscope基准( Salazar等, 2025)进行多语言评估，覆盖英文、西班牙文和葡萄牙文，揭示跨语言差异。所有代码和结果均为开源，使社区能够进行审计并跨模型版本进行纱绉公平性跟踪。
引用
@article{arxiv.2508.09993,
title = {A Transparent Fairness Evaluation Protocol for Open-Source Language Model Benchmarking on the Blockchain},
author = {Hugo Massaroli and Leonardo Iara and Emmanuel Iarussi and Viviana Siless},
journal= {arXiv preprint arXiv:2508.09993},
year = {2025}
}