用不用 BERT：序列标注中任务特定与任务无关半监督方法的比较
计算与语言
2020-10-28 v1
摘要
近年来，利用类 Transformer 架构（如 BERT）处理大量无标签数据已变得流行，因为它们在学习通用表示方面十分有效，这些表示可进一步针对下游任务进行微调并取得很大成功。然而，从经济和环境角度来看，训练这些模型可能代价高昂。在这项工作中，我们研究了如何有效使用无标签数据：通过探索任务特定的半监督方法交叉视图训练（CVT），并将其与任务无关的 BERT 在包含领域相关和任务相关的英语数据的多种设置下进行比较。CVT 使用了轻得多的模型架构，我们表明其在一系列序列标注任务上取得了与 BERT 相似的性能，且经济与环境成本更低。
引用
@article{arxiv.2010.14042,
title = {To BERT or Not to BERT: Comparing Task-specific and Task-agnostic Semi-Supervised Approaches for Sequence Tagging},
author = {Kasturi Bhattacharjee and Miguel Ballesteros and Rishita Anubhai and Smaranda Muresan and Jie Ma and Faisal Ladhak and Yaser Al-Onaizan},
journal= {arXiv preprint arXiv:2010.14042},
year = {2020}
}
备注
Accepted in the Proceedings of 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP 2020)(https://2020.emnlp.org/papers/main)