ADAPT：面向 LLM 特征可视化的混合提示优化方法
机器学习
2026-02-23 v1 计算与语言
摘要
理解由 LLM 激活空间中学习得到的方向编码的特征，需识别能够强烈激活这些特征的输入。特征可视化通过优化输入以最大化激活目标方向，提供了一种替代昂贵数据集搜索方法的方案，但由于文本的离散性质，目前仍未在 LLM 上得到充分探索。此外，现有的提示优化技术不太适用于该领域，易陷入局部最优解。为克服这些局限性，我们引入了 ADAPT，一种混合方法，结合了光束搜索初始化和自适应梯度引导的变异，旨在针对这些失败模式进行设计。我们在 Gemma 2 2B 的稀疏自编码器潜在特征上进行评估，提出以数据集激活统计为基础的度量标准，以进行严格的比较，结果表明 ADAPT 在不同层次和潜在类型上 consistently 优于先前方法。我们的结果表明，针对 LLM 的特征可视化是可行的，但需要针对该领域的设计假设。
引用
@article{arxiv.2602.17867,
title = {ADAPT: Hybrid Prompt Optimization for LLM Feature Visualization},
author = {João N. Cardoso and Arlindo L. Oliveira and Bruno Martins},
journal= {arXiv preprint arXiv:2602.17867},
year = {2026}
}