利用动态课程学习改进不平衡文本分类
计算与语言
2022-10-27 v1 人工智能
摘要
预训练语言模型的最新进展提升了文本分类任务的性能。然而，训练过程中样本的优先级调度策略却鲜少受到关注。人类从简单到复杂逐步获取知识，而同一材料在不同学习阶段的难度也可能存在显著差异。受此启发，我们提出了一种用于不平衡文本分类的自定步速动态课程学习（SPDCL）方法，该方法通过语言特征和模型容量两方面来评估样本难度。同时，与现有研究中使用静态课程学习不同，我们的 SPDCL 能够以自适应的由易到难的步调，根据难度准则对训练数据进行重新排序和重采样。在多个分类任务上的大量实验表明了 SPDCL 策略的有效性，尤其是在不平衡数据集上。
引用
@article{arxiv.2210.14724,
title = {Improving Imbalanced Text Classification with Dynamic Curriculum Learning},
author = {Xulong Zhang and Jianzong Wang and Ning Cheng and Jing Xiao},
journal= {arXiv preprint arXiv:2210.14724},
year = {2022}
}
备注
Accepted by UEIoT2022, The 3rd International Workshop on Ubiquitous Electric Internet of Things