精准检测语音钓鱼：微调小型语言模型
计算与语言
2025-06-09 v1
摘要
我们开发了一个语音钓鱼（VP）检测器，通过微调 Llama3——这是一个具有代表性的开源小型语言模型（LM）。在提示词中，我们提供了精心设计的 VP 评估准则，并应用 Chain-of-Thought（CoT）技术。为评估 LM 的鲁棒性并凸显其性能差异，我们构建了一个对抗测试数据集，使模型面临挑战性情境。此外，为解决 VP transcript 稀缺的问题，我们参考现有或新的 VP 技术类型创建了 transcript。我们比较了包括评估准则、应用 CoT 技术或两者同时使用的情形。在实验中，我们的结果表明，经过微调的 Llama3-8B 模型（包含 VP 评估准则的提示词），在小型 LM 中表现最佳，甚至与基于 GPT-4 的 VP 检测器相当。这些发现表明，针对小型 LM 在 VP 检测中， 将人类专家知识纳入提示词比使用 CoT 技术更有效。
引用
@article{arxiv.2506.06180,
title = {Detecting Voice Phishing with Precision: Fine-Tuning Small Language Models},
author = {Ju Yong Sim and Seong Hwan Kim},
journal= {arXiv preprint arXiv:2506.06180},
year = {2025}
}
备注
15 pages, 4 figures, 8 tables, journal submission