基于遗传算法的Clinical BioBERT超参数优化

临床因素仅占影响个体健康结局的可控因素的很小一部分，约10-30%。其余因素包括一个人的出生与成长地、受教育地、工作与家庭环境等。这些因素统称为健康的社会决定因素（Social Determinants of Health，SDoH）。大多数SDoH数据由医生及从业者以非结构化临床笔记形式记录。以结构化方式（于EHR中）记录SDoH数据，将极大受益于专用的SDoH术语本体。我们的研究聚焦于从临床笔记中抽取句子，利用此类SDoH本体（称为SOHO）提供恰当概念。我们借助深度学习近期进展，优化用于SDoH文本的Clinical BioBERT模型超参数。实现了基于遗传算法的超参数调优方案以识别最优参数设置。为构建完整分类器，我们将Clinical BioBERT与两个后续线性层及两个dropout层流水线连接。输出预测文本片段是否描述患者的SDoH问题。我们比较了AdamW、Adafactor与LAMB优化器。实验中，AdamW在准确率上优于其余二者。