语言模型是可对齐的决策者：数据集及其在医疗分诊领域的应用

在困难的决策场景中，专家决策者之间经常存在相互矛盾的意见，因为可能没有唯一的正确答案。此类决策可能由不同的属性指导，这些属性可用于表征个体的决策。我们引入了一个新颖的医疗分诊决策数据集，并用一组决策者属性（DMA）进行了标注。该数据集包含62个场景，涵盖六种不同的DMA，包括公平性和道德应得性等伦理原则。我们提出了一个新颖的软件框架，通过利用这些DMA实现与人类对齐的决策，为具有更好护栏的可信人工智能铺平了道路。具体来说，我们展示了大型语言模型（LLM）如何作为伦理决策者，以及如何使用零样本提示将它们的决策与不同的DMA对齐。我们的实验侧重于不同大小和训练技术的开源模型，如Falcon、Mistral和Llama 2。最后，我们还引入了一种新的加权自一致性方法，提高了整体量化性能。我们的结果为将LLM用作可对齐决策者提供了新的研究方向。数据集和开源软件公开于：https://github.com/ITM-Kitware/llm-alignable-dm。