使用预训练大语言模型的零样本垃圾邮件分类
计算与语言
2024-10-22 v1 人工智能
摘要
本文研究了使用预训练大语言模型（LLM）通过零样本提示进行垃圾邮件分类的应用。我们在著名的SpamAssassin数据集上评估了开源（Flan-T5）和专有LLM（ChatGPT、GPT-4）的性能。探索了两种分类方法：（1）来自电子邮件主题和正文的截断原始内容，以及（2）基于ChatGPT生成的摘要进行分类。我们的实证分析利用整个数据集进行评估而无需进一步训练，显示出有希望的结果。Flan-T5在截断内容方法上达到了90%的F1分数，而GPT-4在使用摘要时达到了95%的F1分数。虽然这些在单个数据集上的初步发现表明了基于LLM的子任务（例如摘要和分类）的分类管道的潜力，但需要在多样化的数据集上进行进一步验证。专有模型的高运营成本，加上LLM的一般推理成本，可能会严重阻碍其在垃圾邮件过滤中的实际部署。
引用
@article{arxiv.2405.15936,
title = {Zero-Shot Spam Email Classification Using Pre-trained Large Language Models},
author = {Sergio Rojas-Galeano},
journal= {arXiv preprint arXiv:2405.15936},
year = {2024}
}