NEEDED：将分层 Transformer 引入眼科疾病诊断
计算与语言
2023-01-12 v3 信息检索
摘要
随着自然语言处理（NLP）技术的发展，利用眼科电子病历（OEMR）自动诊断眼科疾病已成为可能。其旨在分别评估患者双眼的状况，本文将其形式化为一个特定的多标签分类任务。尽管其他疾病的自动诊断已有少量相关研究，眼科疾病的自动诊断呈现出独特特征。首先，OEMR 文档中双眼描述混杂，兼具自由文本与模板化无症状描述，导致信息稀疏且杂乱。其次，OEMR 文档包含多部分描述且文档长度较长。第三，为疾病诊断模型提供可解释性至关重要。为应对这些挑战，我们提出一个有效的眼科疾病自动诊断框架 NEEDED。该框架中集成预处理模块以提升信息密度与质量；随后设计分层 transformer 结构以学习 OEMR 文档中每句的上下文表示。在诊断部分，我们提出基于注意力的预测器，通过获取疾病特异性信息实现可追溯诊断。在真实数据集上的实验及与若干基线模型的对比显示了本框架的优势与可解释性。
引用
@article{arxiv.2212.13408,
title = {NEEDED: Introducing Hierarchical Transformer to Eye Diseases Diagnosis},
author = {Xu Ye and Meng Xiao and Zhiyuan Ning and Weiwei Dai and Wenjuan Cui and Yi Du and Yuanchun Zhou},
journal= {arXiv preprint arXiv:2212.13408},
year = {2023}
}
备注
9 pages, accepted by SIAM International Conference on Data Mining (SDM) 2023