LLM编排的BERTology视角：用于高效单次分类的Token与层选择性探针
计算与语言
2026-04-28 v2
摘要
生产级LLM系统通常依赖独立模型进行安全检查及其他重分类步骤，这增加了延迟、VRAM占用和操作复杂性。我们转而复用服务LLM已消耗的计算资源：在其隐藏状态上训练轻量级探针，并在用于生成的同一前向传播中预测标签。我们将分类构建为对完整Token-层隐藏状态张量的表示选择，而非固定于特定Token或特定层（例如首Token对数几率或最终层池化）。为此，我们引入了一个两阶段聚合器：(i) 在每层内对Token进行汇总，(ii) 跨层汇总以形成用于分类的单一表示。我们通过直接池化、一个含100K参数的评分注意力门控，以及一个参数量最高达35M的降维多头自注意力（MHA）探针来实例化此模板。在安全性与情感分析基准上，我们的探针优于仅复用对数几率的方法（如MULI），且与规模大得多的任务特定基线具有竞争力，同时保持了接近服务时的延迟，并避免了独立守卫模型管线的VRAM与延迟开销。在稠密架构与混合专家架构（Llama-3.2-3B、GPT-OSS-20B、Qwen3-30B-A3B）上的多骨干实验证实，这些发现可推广至单一模型家族之外。
引用
@article{arxiv.2601.13288,
title = {A BERTology View of LLM Orchestrations: Token- and Layer-Selective Probes for Efficient Single-Pass Classification},
author = {Gonzalo Ariel Meyoyan and Luciano Del Corro},
journal= {arXiv preprint arXiv:2601.13288},
year = {2026}
}
备注
Accepted to ACL 2026 (Main Conference)