APAM：面向噪声标签与长尾学习的语言模型自适应预训练与自适应元学习
计算与语言
2023-05-04 v2 人工智能
摘要
实际的自然语言处理（NLP）任务通常具有长尾分布且带有噪声标签。这些问题对深度神经网络（DNNs）等复杂模型的泛化性与鲁棒性提出了挑战。一些常用的重采样技术，如过采样或欠采样，易导致过拟合。利用少量元数据学习数据权重正日益流行。此外，近期研究展示了自监督预训练的优势，尤其对代表性不足的数据。本工作中，我们提出一个通用框架来处理长尾与噪声标签并存的问题。模型以对比学习方式适配问题领域。重加权模块是一个前馈网络，学习显式加权函数并根据元数据调整权重。该框架进一步通过交叉熵损失与焦点损失的多项式展开组合来适配损失函数中各项的权重。我们的大量实验表明，所提框架一致优于基线方法。最后，我们的敏感性分析强调了该框架处理长尾问题及减轻噪声标签负面影响的能力。
引用
@article{arxiv.2302.03488,
title = {APAM: Adaptive Pre-training and Adaptive Meta Learning in Language Model for Noisy Labels and Long-tailed Learning},
author = {Sunyi Chi and Bo Dong and Yiming Xu and Zhenyu Shi and Zheng Du},
journal= {arXiv preprint arXiv:2302.03488},
year = {2023}
}