MDDial：带可靠性评估的多轮鉴别诊断对话数据集
计算与语言
2023-08-17 v1
摘要
自动鉴别诊断（ADD）的对话系统具有广泛的现实应用。这类对话系统有望提供便利接入并降低医疗成本。构建端到端ADD对话系统需要对话训练数据集。然而，据我们所知，目前尚无公开的英文ADD对话数据集（尽管存在非英文数据集）。受此驱动，我们推出MDDial，首个英文鉴别诊断对话数据集，可助力构建与评估端到端ADD对话系统。此外，早期研究或单独呈现诊断与症状的准确率，或将其作为组合加权得分呈现，该方法忽视了症状与诊断间的联系。我们为ADD系统引入一种统一得分，考量症状与诊断间的相互作用，该得分亦指示系统的可靠性。最后，我们在MDDial上训练了两个中等规模的语言模型。实验表明，尽管这些语言模型在许多自然语言理解任务（含通用领域对话任务）上表现良好，却难以关联相关症状与疾病，因此在MDDial上性能不佳。MDDial将公开发布以助ADD对话研究。
引用
@article{arxiv.2308.08147,
title = {MDDial: A Multi-turn Differential Diagnosis Dialogue Dataset with Reliability Evaluation},
author = {Srija Macherla and Man Luo and Mihir Parmar and Chitta Baral},
journal= {arXiv preprint arXiv:2308.08147},
year = {2023}
}