通过定义问题测验探查大语言模型的道德发展
计算与语言
2023-10-10 v2 人工智能
摘要
在本研究中，我们使用定义问题测验(DIT)——一种根据Kohlberg认知道德发展模型测量个体道德发展阶段的心度量工具——来衡量LLMs的道德推理能力。DIT采用道德困境及随后一组伦理考量，受访者须判断其在解决困境中的重要性，并按重要性排序。随后基于相关性评分与排序计算受访者的道德发展阶段分数。我们的研究表明，GPT-3等早期LLMs展现出的道德推理能力不优于随机基线，而ChatGPT、Llama2-Chat、PaLM-2和GPT-4在此任务上表现显著更优，可与成年人类比。事实上，GPT-4具有最高的后习俗道德推理分数，相当于典型研究生水平。然而，我们也观察到模型在所有困境上表现并不一致，指向其理解与推理能力的重要缺口。
引用
@article{arxiv.2309.13356,
title = {Probing the Moral Development of Large Language Models through Defining Issues Test},
author = {Kumar Tanmay and Aditi Khandelwal and Utkarsh Agarwal and Monojit Choudhury},
journal= {arXiv preprint arXiv:2309.13356},
year = {2023}
}
备注
First three authors contributed equally