用于提升零样本文本分类效率的保形预测器
计算与语言
2022-10-25 v1
摘要
预训练语言模型（PLMs）已被证明对零样本（0shot）文本分类有效。基于自然语言推理（NLI）和下一句预测（NSP）的 0shot 模型采用交叉编码器架构，并通过分别对每对标签-文本进行模型前向传播来推断。这导致推断的计算成本随标签数量线性增加。在本工作中，我们利用另一个基于快速基分类器的保形预测器（CP）（由 0shot 模型标注的样本校准）来限制可能标签的数量，从而提升此类基于交叉编码器的 0shot 模型的效率。由于 CP 生成具有覆盖保证的预测集，它能在不排除 0shot 模型最可能标签的前提下减少目标标签数。我们在三个意图和两个主题分类数据集上实验。通过对每个数据集选用合适的 CP，我们将基于 NLI 和 NSP 的模型平均推断时间分别降低了 25.6% 和 22.2%，且性能未低于预定义 1% 错误率。
引用
@article{arxiv.2210.12619,
title = {Conformal Predictor for Improving Zero-shot Text Classification Efficiency},
author = {Prafulla Kumar Choubey and Yu Bai and Chien-Sheng Wu and Wenhao Liu and Nazneen Rajani},
journal= {arXiv preprint arXiv:2210.12619},
year = {2022}
}
备注
EMNLP 2022