面向软件工程的自动化伦理轮廓：LLM推理的零样本评估
软件工程
2025-10-02 v1 人工智能
摘要
大型语言模型(LLMs)正逐渐被集成到软件工程(SE)工具中，用于超越代码合成的任务，包括不确定性下的判断以及伦理关键情境下的推理。我们提出了一个用于在零样本设置下评估16种LLMs伦理推理能力的完全自动化框架，使用30个真实世界的伦理敏感情境。每个模型都被提示识别某项行动最适用的伦理理论、评估其道德可接受性，并解释其选择的推理依据。我们将模型的响应与专家伦理学家的选择进行比较，使用模型间一致性指标。我们的结果显示，LLMs在Theory Consistency Rate(TCR)上实现了73.3%的平均值，在Binary Agreement Rate(BAR)上的道德可接受性达到86.7%，且自由文本解释的可解释差异集中在伦理模糊情境中。对自由文本解释的定性分析揭示了尽管在表面层级词汇多样性方面存在差异，但各模型之间在概念上存在强大的一致性。这些发现支持LLMs作为SE管道中伦理推理引擎的潜在可行性，使其能够实现可扩展的、可审计的、适应性的用户对齐伦理推理。我们的工作重点是更广泛轮廓管道中的Ethical Interpreter组件：我们评估当前LLMs是否具备足够的解释稳定性和theory-consistent推理，以支持自动化轮廓。
引用
@article{arxiv.2510.00881,
title = {Advancing Automated Ethical Profiling in SE: a Zero-Shot Evaluation of LLM Reasoning},
author = {Patrizio Migliarini and Mashal Afzal Memon and Marco Autili and Paola Inverardi},
journal= {arXiv preprint arXiv:2510.00881},
year = {2025}
}
备注
Accepted at ASE 2025