长期提升NLP Transformer模型分类的可靠性
计算与语言
2025-02-18 v1 机器学习
摘要
自该方法提出以来，基于Transformer的机器学习模型已成为许多自然语言处理（NLP）任务的重要工具。这些项目的常见目标是文本数据分类。分类模型常被扩展到不同主题和/或时间段。在这些情况下，难以判断分类在多长时间内适用以及何时值得重新训练模型。本文比较了针对不同方法来微调BERT模型以用于长期运行的分类任务。我们使用不同时期的数据微调原始BERT模型，并衡量第二轮标注如何提升分类质量。我们的语料库包含2020年9月至2021年12月间匈牙利关于COVID-19疫苗接种的逾800万条评论。结果表明，最佳方案是使用所有可用的无标注评论来微调模型。不建议仅关注包含模型此前未遇词语的评论；更高效的方案是从新时期随机采样评论。微调不能阻止模型性能下降，而仅能减缓其速度。在快速变化的语言环境中，若不定期标注新文本，则无法维持模型性能。
引用
@article{arxiv.2302.10016,
title = {Boosting classification reliability of NLP transformer models in the long run},
author = {Zoltán Kmetty and Bence Kollányi and Krisztián Boros},
journal= {arXiv preprint arXiv:2302.10016},
year = {2025}
}
备注
18 pages, 3 figures