面向医疗保健场景的语言模型审计的临床试验设计方法
计算机与社会
2024-12-20 v2 机器学习
摘要
我们提出了一种针对语言模型的审计机制，特别关注部署在医疗保健领域的模型。我们的 proposed mechanism 受临床试验设计的启发，将语言模型审计视为一种单盲等效试验，其中值得比较的关注点是专业知识分子。我们展示了使用所提出方法后，可以遵循原则性的样本量和功效计算，leading to 能够在保持审计完整性和统计可靠性的同时, 所需抽样的最少记录数。最后, 我们提供了一个在大型公共卫生网络中实际使用的审计实例。
引用
@article{arxiv.2411.16702,
title = {A Clinical Trial Design Approach to Auditing Language Models in Healthcare Setting},
author = {Lovedeep Gondara and Jonathan Simkin},
journal= {arXiv preprint arXiv:2411.16702},
year = {2024}
}