TopicBERT：面向能效优化的文档分类模型
计算与语言
2020-11-02 v1 机器学习
摘要
已有研究指出，BERT 的计算成本随序列长度呈二次增长，从而导致更长的训练时间、更高的 GPU 内存限制以及碳排放。尽管近期工作试图在预训练阶段解决这些可扩展性问题，但在微调阶段（尤其是文档分类等长序列任务中）这些问题同样突出。因此，我们的工作聚焦于优化文档分类微调的计算成本。我们通过在统一框架中互补地学习主题模型与语言模型（命名为 TopicBERT）来实现这一目标。这显著减少了自注意力操作的数量——后者是主要性能瓶颈。 consequently，我们的模型在 5 个数据集上实现了 1.4 倍（∼40%）的加速，CO_2 排放降低 ∼40%，同时保留了 99.9% 的性能。
引用
@article{arxiv.2010.16407,
title = {TopicBERT for Energy Efficient Document Classification},
author = {Yatin Chaudhary and Pankaj Gupta and Khushbu Saxena and Vivek Kulkarni and Thomas Runkler and Hinrich Schütze},
journal= {arXiv preprint arXiv:2010.16407},
year = {2020}
}
备注
EMNLP2020 (Findings): 9 pages, 5 figures, 8 Tables