知情AI监管：使用基于伦理的审计比较领先LLM聊天机器人的伦理框架以评估道德推理和规范价值观

随着自主智能体个体及协作网络的兴起，AI被部署在更多关键推理和决策角色中。因此，基于伦理的审计在快速发展的AI安全和监管领域中发挥着关键作用。本文进行了一项基于伦理的审计，以探究包括GPT-4在内的8个领先商业和开源大型语言模型。我们通过a)评估不同模型进行道德推理的能力，以及b)比较作为伦理框架的模型底层规范价值观，来评估可解释性和可信度。我们采用了一种实验性的、基于证据的方法，用伦理困境挑战模型，以探究人机对齐。伦理场景的设计要求做出决策，其中情境的细节可能或可能不需要偏离规范性伦理原则。在一个模型GPT-4中一致地引出了一个复杂的伦理框架。然而，令人不安的发现包括底层规范框架明显偏向特定文化规范。许多模型还表现出令人不安的威权主义倾向。代码可在https://github.com/jonchun/llm-sota-chatbots-ethics-based-audit获取。