我们能信任AI智能体吗？基于LLM的多智能体系统用于伦理AI的案例研究
计算机与社会
2025-05-19 v2 人工智能
摘要
基于AI的系统（包括大语言模型LLM）通过支持多样化任务影响数百万人，但面临错误信息、偏见和滥用等问题。随着新技术和新担忧的出现，AI伦理至关重要，但客观、实用的指导仍有争议。本研究考察LLM在AI伦理实践中的应用，评估LLM可信度增强技术在此背景下对软件开发的影响。采用设计科学研究(DSR)方法，我们识别了LLM可信度技术：多智能体、不同角色、结构化沟通和多轮辩论。我们设计了一个多智能体原型LLM-MAS，其中智能体就来自AI事件数据库的真实AI伦理问题进行结构化讨论。我们通过主题分析、层次聚类、对比（基线）研究和运行源代码，在三个案例场景中评估该原型。该系统每个案例生成约2,000行代码，而基线试验仅生成80行。讨论涉及偏见检测、透明度、问责制、用户同意、GDPR合规、公平性评估和欧盟AI法案合规等术语，展示了该原型生成大量源代码和文档的能力，解决了常被忽视的AI伦理问题。然而，源代码集成和依赖管理的实际挑战可能限制从业者的使用。
引用
@article{arxiv.2411.08881,
title = {Can We Trust AI Agents? A Case Study of an LLM-Based Multi-Agent System for Ethical AI},
author = {José Antonio Siqueira de Cerqueira and Mamia Agbese and Rebekah Rousi and Nannan Xi and Juho Hamari and Pekka Abrahamsson},
journal= {arXiv preprint arXiv:2411.08881},
year = {2025}
}