DecompressionLM：从语言模型中实现确定性、诊断性的零样图概念图提取
计算与语言
2026-02-06 v2
摘要
现有的知识探测方法依赖于预定义查询，限制只能提取已知概念。我们引入 DecompressionLM，一个无状态的零-shot 概念图提取框架，能够在无需预定义查询或跨序列共享状态的情况下发现语言模型编码的内在知识。我们的 метод 针对常见解码基于探测的方法的三个局限性进行了改进：(i) 跨序列耦合导致概率质量集中在高频前缀上；(ii) 竞争解码效应抑制长尾概念；(iii) 由于顺序探索导致的可扩展性限制。通过对 Van der Corput low-discrepancy 序列进行算术解码，DecompressionLM 实现了确定性、可并行化的生成，无需跨序列共享状态。在两个模型家族和五种量化变体中，我们发现激活感知量化 (AWQ-4bit) 可使概念覆盖率提升 30-170%，而均匀量化 (GPTQ-Int4) 则诱导 71-86% 的覆盖率崩溃——这种差异并未被解释级别的困惑度可靠地反映。语料库基准的验证进一步揭示，MMLU-Pro 法律模型中排名靠前与靠后的模型之间存在 19.6 分的幻觉差距。DecompressionLM 将概念覆盖率确立为评估压缩模型知识广度和事实 grounding 的补充评估维度。
引用
@article{arxiv.2602.00377,
title = {DecompressionLM: Deterministic, Diagnostic, and Zero-Shot Concept Graph Extraction from Language Models},
author = {Zhaochen Hong and Jiaxuan You},
journal= {arXiv preprint arXiv:2602.00377},
year = {2026}
}