BertGCN：通过结合 GCN 与 BERT 进行转导式文本分类
计算与语言
2022-03-22 v4
摘要
在这项工作中，我们提出 BertGCN，一种结合大规模预训练与转导式学习用于文本分类的模型。BertGCN 在数据集上构建异构图，并使用 BERT 表示将文档作为节点表示。通过在 BertGCN 内联合训练 BERT 与 GCN 模块，所提模型能够利用两个方面的优势：利用海量原始数据优势的大规模预训练，以及通过图卷积传播标签影响来联合学习训练数据与无标签测试数据表示的转导式学习。实验表明，BertGCN 在广泛的文本分类数据集上取得了 SOTA 性能。代码可在 https://github.com/ZeroRin/BertGCN 获取。
引用
@article{arxiv.2105.05727,
title = {BertGCN: Transductive Text Classification by Combining GCN and BERT},
author = {Yuxiao Lin and Yuxian Meng and Xiaofei Sun and Qinghong Han and Kun Kuang and Jiwei Li and Fei Wu},
journal= {arXiv preprint arXiv:2105.05727},
year = {2022}
}
备注
Accepted by Findings of ACL 2021