HSDreport：利用超声心动图报告进行心音诊断
声音
2024-08-19 v1 音频与语音处理
摘要
心音听诊在先天性心脏病的诊断中具有重要意义。然而，现有的心音诊断（HSD）任务方法主要局限于少数固定类别，将HSD任务构建为一个僵化的分类问题，这与医学实践不完全一致，并且提供给医生的信息有限。此外，这些方法没有利用超声心动图报告——相关疾病诊断的金标准。为应对这一挑战，我们引入了HSDreport，一个新的HSD基准，它要求直接利用听诊获得的心音来预测超声心动图报告。该基准旨在融合听诊的便捷性与超声心动图报告的全面性。首先，我们为该基准收集了一个新数据集，包含2,275个心音样本及其对应的报告。其次，我们开发了一种基于知识感知查询的Transformer模型来处理此任务。其意图是利用医学预训练模型和大型语言模型（LLM）的内部知识来处理任务固有的复杂性和变异性，从而增强方法的鲁棒性和科学性。此外，我们的实验结果表明，我们的方法在检测心音关键异常方面显著优于传统的HSD方法和现有的多模态LLM。
关键词
引用
@article{arxiv.2408.08669,
title = {HSDreport: Heart Sound Diagnosis with Echocardiography Reports},
author = {Zihan Zhao and Pingjie Wang and Liudan Zhao and Yuchen Yang and Ya Zhang and Kun Sun and Xin Sun and Xin Zhou and Yu Wang and Yanfeng Wang},
journal= {arXiv preprint arXiv:2408.08669},
year = {2024}
}