以代表性不足的语言特征审慎增强BERT
计算与语言
2020-11-13 v1 机器学习
摘要
微调的基于双向编码器表示从Transformer（BERT）的序列分类模型已被证明能有效地从人类语音转录文本中检测阿尔茨海默病（AD）。然而，先前研究表明，通过向模型补充额外信息可提升BERT在多项任务上的性能。本工作中，我们使用探测任务作为内省技术，识别BERT各层中未被充分表示但对AD检测任务重要的语言信息。我们将这些BERT表示不足的语言特征外部以手工特征补充，并表明将BERT与这些特征联合微调可使AD分类性能比单独微调BERT提升至多5%。
引用
@article{arxiv.2011.06153,
title = {Augmenting BERT Carefully with Underrepresented Linguistic Features},
author = {Aparna Balagopalan and Jekaterina Novikova},
journal= {arXiv preprint arXiv:2011.06153},
year = {2020}
}
备注
Machine Learning for Health (ML4H) at NeurIPS 2020 - Extended Abstract