大语言模型下关于网络钓鱼检测的多数投票策略评估
计算与语言
2025-03-04 v1 人工智能
摘要
大型语言模型 (LLM) 的效果显著依赖于所接收的提示质量。然而，即使处理相同的提示，LLM 也可能因其训练过程的差异而产生不同的结果。为利用多个 LLM 的集体智慧并提升其性能，本研究针对文本分类任务（具体为网络钓鱼 URL 检测），探讨了三种多数投票策略。该策略包括：(1) 基于提示的集成方法，利用单个 LLM 对多种不同提示生成的响应进行多数投票；(2) 基于模型的集成方法，对多个 LLM 对同一提示的响应进行聚合；(3) 混合集成方法，通过将不同提示发送给多个 LLM，然后聚合其响应。我们的分析表明，集成策略在单个组件表现相当的情况下最为适用。然而，当单个组件的性能存在显著差异时，集成方法的效果可能不超过最佳单一 LLM 或提示的性能。在此类情况下，不建议采用集成技术。
引用
@article{arxiv.2412.00166,
title = {To Ensemble or Not: Assessing Majority Voting Strategies for Phishing Detection with Large Language Models},
author = {Fouad Trad and Ali Chehab},
journal= {arXiv preprint arXiv:2412.00166},
year = {2025}
}
备注
Accepted in 4th International Conference on Intelligent Systems and Pattern Recognition (ISPR24)