CELDA: 在无标签情形下利用黑盒语言模型作为增强分类器
计算与语言
2023-06-12 v2
摘要
在无内部访问权限的情况下利用语言模型(LM)正成为 NLP 领域中的热门范式,因为许多前沿 LM 通过 API 发布并具备海量规模。此类黑盒场景中的事实标准方法称为提示(prompting),已在数据标签稀缺或不可得的情况下展现出渐进的性能提升。尽管有效,其与全监督对应方法相比仍显不足,且通常对细微改动脆弱。本文提出聚类增强线性判别分析(CELDA),一种以极弱监督信号(即标签名称)提升文本分类准确性的新方法。我们的框架在不访问 LM 权重或梯度及数据标签的情况下绘制精确决策边界。CELDA 的核心思想有两点:(1)从无标签数据集中提取精炼的伪标签数据集;(2)在 LM 之上训练轻量且鲁棒的模型,从提取的含噪数据集中学习准确决策边界。通过对各数据集的深入探究,我们证明 CELDA 在弱监督文本分类中达到新的 SOTA,并缩小了与全监督模型的差距。此外,我们所提方法可普适地应用于任意 LM,并具备扩展至更大模型的潜力,使其成为利用大型 LM 的更可行选择。
引用
@article{arxiv.2306.02693,
title = {CELDA: Leveraging Black-box Language Model as Enhanced Classifier without Labels},
author = {Hyunsoo Cho and Youna Kim and Sang-goo Lee},
journal= {arXiv preprint arXiv:2306.02693},
year = {2023}
}
备注
ACL 2023