对话式 AI 中处理医疗查询的风险分级安全性
计算与语言
2022-10-04 v1
摘要
对话式 AI 系统在处理用户医疗查询时可能出现不安全行为,这些行为可能导致严重后果甚至死亡。因此,系统需要能够识别医疗输入的严重性,并生成具有适当风险级别的响应。我们构建了一个由人工撰写的英文医疗查询语料库及不同类型系统的响应。我们用众包和专家标注对其进行了标记。尽管单个众包工作者在分级提示严重性上可能不可靠,但他们聚合的标签在识别医疗查询和识别响应所带来风险类型方面往往更大程度上与专业意见一致。分类实验的结果表明,尽管这些任务可以实现自动化,但应谨慎行事,因为错误可能非常严重。
引用
@article{arxiv.2210.00572,
title = {Risk-graded Safety for Handling Medical Queries in Conversational AI},
author = {Gavin Abercrombie and Verena Rieser},
journal= {arXiv preprint arXiv:2210.00572},
year = {2022}
}
备注
Accepted for publication at AACL 2022