面向鲁棒少样本文本分类：Transformer架构与双损失策略
计算与语言
2025-05-12 v1 机器学习
摘要
少样本文本分类在低资源环境中具有重要的应用价值。本文提出了一种结合自适应微调、对比学习和正则化优化的策略，以提高基于Transformer模型的分类性能。在FewRel 2.0数据集上的实验表明，T5-small、DeBERTa-v3和RoBERTa-base在少样本任务中表现良好，尤其是在5样本设置下，能够更有效地捕获文本特征并提高分类准确率。实验还发现，不同关系类别在分类难度上存在显著差异。一些类别的语义边界模糊或特征分布复杂，使得标准的交叉熵损失难以学习区分类别所需的判别性信息。通过引入对比损失和正则化损失，增强了模型的泛化能力，有效缓解了少样本环境中的过拟合问题。此外，研究结果表明，使用具有更强自注意力机制的Transformer模型或生成式架构可以帮助提高少样本分类的稳定性和准确性。
引用
@article{arxiv.2505.06145,
title = {Towards Robust Few-Shot Text Classification Using Transformer Architectures and Dual Loss Strategies},
author = {Xu Han and Yumeng Sun and Weiqiang Huang and Hongye Zheng and Junliang Du},
journal= {arXiv preprint arXiv:2505.06145},
year = {2025}
}