DocBERT：用于文档分类的BERT
计算与语言
2019-08-23 v3
摘要
据我们所知，我们提出了BERT在文档分类中的首个应用。该任务的若干特性可能让人认为BERT并非最合适的模型：句法结构对内容类别影响较小，文档长度常超出典型BERT输入，且文档常具有多个标签。尽管如此，我们展示了一种使用BERT的直接分类模型能够在四个流行数据集上达到最先进水平。为解决与BERT推理相关的计算开销，我们将知识从BERT-large蒸馏至小型双向LSTM，以少30倍参数量在多个数据集上达到BERT-base同等水平。我们论文的主要贡献是改进了基线，可为未来工作奠定基础。
引用
@article{arxiv.1904.08398,
title = {DocBERT: BERT for Document Classification},
author = {Ashutosh Adhikari and Achyudh Ram and Raphael Tang and Jimmy Lin},
journal= {arXiv preprint arXiv:1904.08398},
year = {2019}
}