Spam-T5：面向少样本电子邮件垃圾检测的大语言模型基准评测
计算与语言
2023-05-09 v3 人工智能
摘要
本文通过比较来自三个不同家族的知名模型：类 BERT、Sentence Transformers 和 Seq2Seq，研究大语言模型（LLMs）在电子邮件垃圾检测中的有效性。此外，我们考察了成熟的垃圾检测机器学习技术，如 Naïve Bayes 和 LightGBM，作为基线方法。我们在四个公开数据集上评估这些模型的性能，使用不同数量的训练样本（完整训练集与少样本设定）。我们的发现揭示，在大多数情况下，LLMs 超越了流行基线技术的表现，尤其在少样本场景中。这种适应性使 LLMs uniquely 适合垃圾检测任务，其中标注样本数量有限且模型需要频繁更新。此外，我们引入 Spam-T5，一个专为检测电子邮件垃圾而适配和微调的 Flan-T5 模型。我们的结果表明，Spam-T5 在大多数场景中超越基线模型与其他 LLMs，尤其在可用训练样本数量有限时。我们的代码公开于 https://github.com/jpmorganchase/emailspamdetection。
引用
@article{arxiv.2304.01238,
title = {Spam-T5: Benchmarking Large Language Models for Few-Shot Email Spam Detection},
author = {Maxime Labonne and Sean Moran},
journal= {arXiv preprint arXiv:2304.01238},
year = {2023}
}