面向长文档的BERT：以自动化ICD编码为例的研究
计算与语言
2022-11-07 v1 机器学习
摘要
Transformer模型已在众多NLP问题中取得巨大成功。然而，先前关于自动化ICD编码的研究认为，这些模型未能超越一些更早的方案（如基于CNN的模型）。本文质疑这一结论。我们提出一种简单且可扩展的方法，利用现有Transformer模型（如BERT）处理长文本。我们表明，该方法显著改善了此前报道的Transformer模型在ICD编码上的结果，并能够超越一种著名的基于CNN的方法。
引用
@article{arxiv.2211.02519,
title = {BERT for Long Documents: A Case Study of Automated ICD Coding},
author = {Arash Afkanpour and Shabir Adeel and Hansenclever Bassani and Arkady Epshteyn and Hongbo Fan and Isaac Jones and Mahan Malihi and Adrian Nauth and Raj Sinha and Sanjana Woonna and Shiva Zamani and Elli Kanal and Mikhail Fomitchev and Donny Cheung},
journal= {arXiv preprint arXiv:2211.02519},
year = {2022}
}