文本语料库作为概念场：黑箱幻觉与新颖性测量

我们提出一种文本语料库的概念场（Concept Field）概念：一种具有点态不确定性的局部漂移场，估计自从句子之间delta的变化来自句嵌入空间。给定一个候选句子转换，我们通过$\zeta$（观察delta与场的局部高斯估计之间的平均绝对z距离）对其与场的一致性进行评分。该评分是黑箱的（不涉及模型内部）、语料库可归因的（每个评分可追溯到附近的语料库句子），并在局部高斯近似下接受概率学解释。我们通过引入向量序列数据库（VSDB）来支持计算，VSDB存储嵌入以及序列位置和下一个delta的元数据。我们在两种大规模setting下评估了这一方法：针对美国联邦法规（U.S. Code of Federal Regulations）进行幻觉风格的groundedness检测，以及针对Project Gutenberg进行新颖性检测。在受控的LLM生成重写上，概念场实现了强大的选择性分类性能，适用于grounded / ungrounded / unsure的三段式分类策略。与检索中心的基线方法不同，所得覆盖-风险行为在两个领域中相似，支持对标准化偏差得分在跨领域内的一定稳定性。我们还概述了如何计算概念场的散度和旋度，在稠密聚类上可揭示具有意义的语义模式（逻辑来源、汇流点以及隐式主题），这些模式我们提供作为假设生成器而非量化结果。概念场为groundedness和新颖性提供了一种快速、轻量且可解释的信号，补充了LLM评判和白盒探测器。