面向医疗对话系统的 ULMFiT 与自蒸馏的校准学习

医疗对话系统对于提供初级临床建议与诊断的医疗服务至关重要。由于自然语言处理（NLP）的进步，其已逐渐以对话机器人的形式在医疗机构中得到采用与实践。近年来，通用语言模型微调（ULMFiT）和知识蒸馏（KD）等最先进的深度学习模型与迁移学习技术的引入，极大促进了 NLP 任务的性能。然而，一些深度神经网络校准不佳，错误地估计了不确定性，因此模型不可信，尤其在敏感的医疗决策系统与安全任务中。本文研究了医疗对话系统中 ULMFiT 与自蒸馏（SD）的良校准模型。校准后的 ULMFiT（CULMFiT）通过引入标签平滑（LS）——一种常用的正则化技术以获得良校准模型——而得到。此外，我们应用温度缩放（TS）技术结合 KD 对置信度分数进行重新校准，以观察其与网络校准的相关性。为进一步理解 SD 与校准之间的关系，我们使用固定温度与最优温度对整个模型进行微调。所有实验均在专家收集的腰痛咨询数据集上进行，并进一步使用大型公开医疗对话语料库进行验证。我们通过实证表明，所提方法在准确性与鲁棒性方面优于传统方法。