范围缩小，威胁仍存：重新评估2026年前沿模型系列中LLM包 hallucinations
摘要
Spracklen等人(USENIX Security '25)指出，代码生成型大语言模型在PyPI或npm上生成不存在的包名称，错误率分别为商业模型5.2%至开源模型21.7%，构成slopsquatting——以幻觉名称注册恶意包的攻击面。我们在2025年10月至2026年3月发布的五个前沿代码能力LLM上复现了该方法：Claude Sonnet 4.6、Claude Haiku 4.5、GPT-5.4-mini、Gemini 2.5 Pro和DeepSeek V3.2。针对199,845组经PyPI和npm主列表验证的配对Python和JavaScript提示，我们测得整体幻觉率介于4.62%(Claude Haiku 4.5)至6.10%(GPT-5.4-mini)之间——模型间差距压缩了一个数量级，但威胁并未消失。除复现外，我们识别出一组127个包名称(109个PyPI，18个npm)，所有评估模型均以相同方式虚构，构成模型无关的供应链攻击面，单一模型研究无法揭示。我们进一步记录了Python与JavaScript间的幻觉不对称——这颠倒了Spracklen 2024年的发现，发现Anthropic系列中Haiku低于Sonnet的现象，并观察到DeepSeek V3.2与GPT-5.4-mini之间的最高Jaccard相似度(J=0.343)，暗示共享训练数据来源。
引用
@article{arxiv.2605.17062,
title = {The Range Shrinks, the Threat Remains: Re-evaluating LLM Package Hallucinations on the 2026 Frontier-Model Cohort},
author = {Aleksandr Churilov},
journal= {arXiv preprint arXiv:2605.17062},
year = {2026}
}
备注
12 pages, 3 figures, 4 tables. Replication of Spracklen et al. (USENIX Security 2025). Data and code: https://github.com/churik5/slopsquatting-replication-2026 and https://doi.org/10.5281/zenodo.19859120