用于少样本文本分类的掩码引导 BERT
计算与语言
2024-11-19 v3 人工智能
摘要
基于 transformer 的语言模型已在多个领域取得显著成功。然而，transformer 架构的数据密集型特性需要大量标注数据，这在低资源场景（即少样本学习（FSL））中具有挑战性。FSL 的主要困难是在少量样本上训练鲁棒模型，常导致过拟合。本文提出 Mask-BERT，一种简单且模块化的框架，以帮助基于 BERT 的架构应对 FSL。所提方法根本不同于现有的提示微调与元学习等 FSL 策略。其核心思想是对文本输入选择性施加掩码并过滤无关信息，引导模型聚焦于影响预测结果的判别性词元。此外，为使不同类别的文本表示更具可分性、同类别的文本表示更紧凑，我们引入对比学习损失函数。在公开基准数据集上的实验结果证明了 Mask-BERT 的有效性。
引用
@article{arxiv.2302.10447,
title = {Mask-guided BERT for Few Shot Text Classification},
author = {Wenxiong Liao and Zhengliang Liu and Haixing Dai and Zihao Wu and Yiyang Zhang and Xiaoke Huang and Yuzhong Chen and Xi Jiang and Wei Liu and Dajiang Zhu and Tianming Liu and Sheng Li and Xiang Li and Hongmin Cai},
journal= {arXiv preprint arXiv:2302.10447},
year = {2024}
}