BagBERT: 基于 BERT 的装袋-堆叠多主题分类方法
计算与语言
2021-11-12 v1 人工智能
机器学习
摘要
本文描述了我们在 BioCreative VII 的 COVID-19 文献标注任务上的提交方案。我们提出了一种利用通常被舍弃的全局非最优权重知识来构建每个标签的丰富表示的方法。我们提出的方法包括两个阶段:(1) 对训练数据的多种初始化进行装袋(bagging),以提取弱训练权重特征;(2) 基于 BERT 和 RoBERTa 嵌入对异质词表模型进行堆叠(stacking)。这些弱信息的聚合表现优于经典的全局高效模型。其目的是将丰富的知识蒸馏到一个更简单、更轻量的模型中。我们的系统获得了 92.96 的基于实例的 F1 和 91.35 的基于标签的微平均 F1。
引用
@article{arxiv.2111.05808,
title = {BagBERT: BERT-based bagging-stacking for multi-topic classification},
author = {Loïc Rakotoson and Charles Letaillieur and Sylvain Massip and Fréjus Laleye},
journal= {arXiv preprint arXiv:2111.05808},
year = {2021}
}