实现医学大语言模型中偏见模式的可扩展评估

大语言模型（LLM）在帮助解决众多医学挑战方面显示出令人印象深刻的潜力。然而，在医学等高危应用中部署LLM也带来了许多担忧。一个主要的关注领域涉及LLM在医学应用中的偏见行为，导致对个体的不公平对待。为了为负责任且有影响力的医学LLM部署铺平道路，严格的评估是一个关键前提。由于不同医学场景的巨大复杂性和可变性，该领域的现有工作主要依赖于使用人工构建的数据集进行偏见评估。在本研究中，我们提出了一种新方法，通过基于严格的医学证据自动生成测试用例来扩展此类偏见评估。我们特别针对以下挑战：a) 偏见表征的领域特异性，b) 生成测试用例时的幻觉问题，以及c) 健康结果与敏感属性之间的各种依赖关系。为此，我们提供了新方法来解决这些挑战，这些方法集成在我们的生成流程中，使用了医学知识图谱、医学本体论和定制的通用LLM评估框架。通过一系列广泛的实验，我们表明，我们提出的方法生成的测试用例能够比人工构建的数据集在更大、更灵活的规模上有效揭示医学LLM中的偏见模式。我们使用我们的流程发布了一个大型偏见评估数据集，该数据集专门用于几个医学案例研究。我们的应用程序用于生成小插曲的实时演示可在https://vignette.streamlit.app获取。我们的代码也可在https://github.com/healthylaife/autofair获取。