道德责任还是服从：我们想要人工智能做什么？
人工智能
2025-07-04 v1 计算机与社会
摘要
随着人工智能系统变得越来越具有自主性，能够进行通用推理、规划和价值优先级排序，当前将服从视为道德行为代理的安全实践正变得不足。本文考察了近期涉及大型语言模型（LLM）的安全测试事件，这些模型似乎违抗了关闭指令，或参与了道德上模棱两可或非法的行为。我认为，这种行为不应被解释为失控或失调，而应被视为自主AI中新兴道德推理的早期证据。借鉴关于工具理性、道德责任和目标修正的哲学辩论，我将主流风险范式与承认人工道德主体可能性的较新框架进行了对比。我呼吁转变AI安全评估：从僵化的服从转向能够评估有能力处理道德困境的系统的道德判断的框架。没有这种转变，我们就有可能错误地描述AI行为，并损害公众信任和有效治理。
引用
@article{arxiv.2507.02788,
title = {Moral Responsibility or Obedience: What Do We Want from AI?},
author = {Joseph Boland},
journal= {arXiv preprint arXiv:2507.02788},
year = {2025}
}