结合第一代 Transformer 与开放 LLM 进行自动文本分类的策略
计算与语言
2024-08-20 v1
摘要
Transformer 模型已取得最先进的结果，大语言模型（LLM）作为第一代 Transformer（1stTR）的演进，被认为是多个自然语言处理任务的前沿。然而，文献尚未 conclusive 地证明 LLM 在所有自然语言处理任务中始终优于 1stTR。本研究在 11 个情感分析数据集上比较了三个 1stTR（BERT、RoBERTa 和 BART）与两个开放 LLM（Llama 2 和 Bloom）。结果表明，开放 LLM 在 11 个数据集中的 8 个上可能中等程度地优于或匹配 1stTR，但仅在微调条件下。鉴于仅获得中等提升的显著成本，这些模型在成本敏感场景中的实际适用性值得质疑。在此背景下，提出了一种基于预测确定性的置信度策略，无缝整合 1stTR 与开放 LLM。高置信度文档由更具成本效益的 1stTR 分类，而不确定案例由 LLM 以零样本或少样本模式处理，成本远低于微调版本。情感分析实验表明，我们的解决方案不仅优于 1stTR、零样本和少样本 LLM，而且以极低的成本与微调 LLM 竞争。
引用
@article{arxiv.2408.09629,
title = {A Strategy to Combine 1stGen Transformers and Open LLMs for Automatic Text Classification},
author = {Claudio M. V. de Andrade and Washington Cunha and Davi Reis and Adriana Silvina Pagano and Leonardo Rocha and Marcos André Gonçalves},
journal= {arXiv preprint arXiv:2408.09629},
year = {2024}
}
备注
13 pages, 3 figures, 8 tables