小型语言模型是否生成类似变量质量的假新闻标题？
计算与语言
2025-09-03 v1 信息检索
摘要
小型语言模型（Small Language Models，SLMs）具有文本生成能力，可能被用于在线上生成虚假文本。本研究评估了包括 LLaMA、Gemma、Phi、SmolLM、Mistral 和 Granite 系列在内的 14 个 SLMs（参数量为 17 亿至 140 亿）在生成感知低质量和高质量假新闻标题时的表现，以及这些标题是否类似于现实世界的新闻标题。通过受控的提示工程，生成了 24,000 条标题，涵盖低质量和高质量欺骗类别。随后应用现有的机器学习和深度学习基于新闻标题质量检测器对这些 SLM 生成的假新闻标题进行检测。SLMs 在尽管存在一些偶发例外的情况下，表现出高符合率，伦理抵抗较小。基于 DistilBERT 和集成分类器模型的标题质量检测显示，质量误分类较为常见，检测准确率仅介于 35.2% 至 63.5% 之间。这些发现表明：测试中的 SLMs 在生成虚假标题方面通常具有合规性，尽管在伦理约束方面存在轻微差异；且生成的标题未与 web 上的现有主要由人类撰写的内容密切相关，鉴于低质量分类的准确率较低。
引用
@article{arxiv.2509.00680,
title = {Do small language models generate realistic variable-quality fake news headlines?},
author = {Austin McCutcheon and Chris Brogly},
journal= {arXiv preprint arXiv:2509.00680},
year = {2025}
}