KESDT：用于药物不良反应检测的增强浅层与深层 Transformer
计算与语言
2023-08-21 v1
摘要
药物不良反应（ADR）检测是医疗领域的一项重要任务，因为 ADR 对患者的健康和医疗系统具有严重有害影响。由于大量人群在社交媒体平台上分享信息，越来越多的研究致力于利用社交媒体数据开展有效的 ADR 检测。尽管已取得令人印象深刻的性能，现有的 ADR 检测方法仍面临三个主要挑战。首先，研究者一直忽视了句子中领域关键词与其他词之间的交互。其次，社交媒体数据集面临标注数据少的挑战。第三，社交媒体数据集中普遍观察到样本不平衡问题。为解决这些挑战，我们提出用于 ADR 检测的增强浅层与深层 Transformer（KESDT）模型。具体而言，针对第一个问题，我们通过浅层融合方式将领域关键词融入 Transformer 模型，使模型充分利用句子中领域关键词与其他词的交互关系。为克服标注数据少的问题，我们通过深层融合方式将同义词集合融入 Transformer 模型，从而扩充样本规模。为缓解样本不平衡的影响，我们用 focal loss 函数替代标准交叉熵损失函数以进行有效模型训练。我们在 TwiMed、Twitter 和 CADEC 三个公开数据集上进行了充分实验。所提出的 KESDT 在 F1 值上优于 SOTA 基线，相对提升分别为 4.87%、47.83% 和 5.73%，证明了我们提出的 KESDT 的有效性。
引用
@article{arxiv.2308.09329,
title = {KESDT: knowledge enhanced shallow and deep Transformer for detecting adverse drug reactions},
author = {Yunzhi Qiu and Xiaokun Zhang and Weiwei Wang and Tongxuan Zhang and Bo Xu and Hongfei Lin},
journal= {arXiv preprint arXiv:2308.09329},
year = {2023}
}