SMeL 测试：语言模型媒体素养的简单基准
计算与语言
2025-08-08 v2 机器学习
摘要
互联网充斥着未标注、刻意误导或 otherwise 不可信的内容。虽然大语言模型（LLM）常被任务分配到自主网页浏览，但我们并不了解它们是否学习了人类研究人员用于导航此混乱环境的简单启发式方法。本文引入合成媒体素养测试（SMeL Test），一个最小化基准，用于测试语言模型主动过滤上下文中不可信信息的能力。我们对各种常用指令调优 LLM 进行基准测试，包括推理模型，发现没有模型能持续成功；尽管推理与更高分数相关，即使是我们测试中最好的 API 模型也会出现最高 70% 的幻觉。值得注意的是，更大更强大的模型并不一定优于较小的模型。我们希望我们的工作为这一重要形式的幻觉提供更多信息，并指导开发新方法来对抗它。
引用
@article{arxiv.2508.02074,
title = {The SMeL Test: A simple benchmark for media literacy in language models},
author = {Gustaf Ahdritz and Anat Kleiman},
journal= {arXiv preprint arXiv:2508.02074},
year = {2025}
}