它们在思考什么？——关于 LLM 中概念的划分、探测与追踪
计算与语言
2026-05-29 v1
摘要
随着 LLM 的影响力不断扩大，洞察其决策过程变得至关重要。一种方法是开发探测器来检测 LLM 在计算的嵌入中所包含或不包含的广泛概念集合——这正是我们所说的模型“思考”关于什么。此类探测器应具备低成本且易于应用于任何 LLM，以便在正常运行期间监控大量概念。本文迈出了发展众多此类探测器能力的第一步，通过定义和执行关键任务的示例：首先，通过创建既包含概念又不包含概念的概念细化数据集；其次，在 LLM 的任意层上训练和测试一组线性探测器以检测概念，包括对探测器复杂度的探索；最后，我们展示了此类探测器可以跟踪更大语境中的概念。本文使用四个独立概念和三个不同的 LLM 实现了这一过程。当这一过程扩展到更多概念时，将实现对新模型的轻松监控能力。
引用
@article{arxiv.2605.28823,
title = {What are They Thinking? Delineation, Probing and Tracking of Concepts in LLMs},
author = {Mohamed Abdelwahab and Michelle Yu Collins and Sihan Chen and Yi Cheng Zhao and Zafarullah Mahmood and Jiading Zhu and Soliman Ali and Jonathan Rose},
journal= {arXiv preprint arXiv:2605.28823},
year = {2026}
}