利用无标签数据进行视图蒸馏以从用户生成数据中提取药物不良反应

我们提出一种基于多层 transformer 的算法，用于识别社交媒体数据中的药物不良反应（ADR）。我们的模型利用问题的性质与上下文词嵌入的特征，从文档中提取两个视图。随后在每个视图上训练一个分类器，以标注一组无标签文档，用作另一视图中新分类器的初始化器。最后，每个视图中的初始化分类器使用初始训练样本进一步训练。我们在最大的公开可用 ADR 数据集上评估了我们的模型。实验证明我们的模型显著优于在特定领域数据上预训练的基于 transformer 的模型。