面向新闻工作室的本地 AI：评估小型语言模型用于调查性文档检索
信息检索
2025-10-01 v1
摘要
调查性记者通常面临大规模文档集合。具有检索增强生成（RAG）能力的大型语言模型（LLM）承诺加速文档发现过程，但由于幻觉风险、验证负担和数据隐私 concerns，新闻工作室的采用仍有限。我们提出一种以记者为中心的 LLM 驱动文档检索方法，通过五阶段流水线（语料库概述、搜索规划、平行线程执行、质量评估与综合）来强调透明度和编辑控制，采用可本地部署的小型语言模型以保留数据安全性，并通过显式引文链保持完整可审计性。我们评估了三个量化模型（Gemma 3 12B、Qwen 3 14B 和 GPT-OSS 20B）在两个语料库上的表现，发现可靠性存在显著差异。所有模型均实现了高引用有效性，能在标准桌面硬件（例如 24 GB 内存）上高效运行，证明了资源受限新闻工作室的可行性。然而，仍然出现系统性挑战，包括多阶段综合中的错误传播以及基于训练数据与语料库内容重叠程度导致的显著性能差异。这些发现表明，有效的新闻工作室 AI 部署需要谨慎的模型选择和系统设计，以及人类监督以维持准确性和问责制标准。
引用
@article{arxiv.2509.25494,
title = {On-Premise AI for the Newsroom: Evaluating Small Language Models for Investigative Document Search},
author = {Nick Hagar and Nicholas Diakopoulos and Jeremy Gilbert},
journal= {arXiv preprint arXiv:2509.25494},
year = {2025}
}
备注
Accepted to Computation + Journalism Symposium 2025