BERT 跑题了：利用体裁分类探究领域迁移挑战
计算与语言
2023-11-28 v1
摘要
尽管由于预训练语言模型（PLMs）的引入，许多文本分类任务的性能近来得到了提升，但在本文中我们表明，当底层主题分布发生变化时，它们仍然面临性能差距。例如，在\textit{政治}主题上训练的体裁分类器在测试关于\textit{体育}或\textit{医学}的文档时常常失效。在这项工作中，我们通过大型语料库和大量主题对该现象进行了实证量化。进而，我们验证了无论是经典 PLM（如 BERT）还是现代大型模型（如 GPT-3），领域迁移仍然具有挑战性。我们还提出并成功测试了一种可能的补救方法：在用主题可控的合成文本扩充训练集后，某些主题的 F1 分数提升了高达 50%，接近同主题训练结果，而其他主题则几乎没有改善。虽然我们的实证结果聚焦于体裁分类，我们的方法也适用于其他分类任务，如性别、作者身份或情感分类。用于复现实验的代码和数据可在 https://github.com/dminus1/genre 获取。
引用
@article{arxiv.2311.16083,
title = {BERT Goes Off-Topic: Investigating the Domain Transfer Challenge using Genre Classification},
author = {Dmitri Roussinov and Serge Sharoff},
journal= {arXiv preprint arXiv:2311.16083},
year = {2023}
}
备注
Published at EMNLP'2023