PROMPT2BOX：发现LLM提示之间的蕴含关系
计算与语言
2026-03-24 v1
摘要
为发现LLMs的弱点，研究者常将提示嵌入向量空间并进行聚类，以提取有洞察力的模式。然而，向量嵌入主要捕捉主题相似性。结果是，那些共享主题但在具体性（因此在难度）上有所不同，往往被表示得很相似，这使得细粒度的弱点分析困难。为解决这一局限性，我们提出PROMPT2BOX，通过在训练好的编码器上嵌入提示到盒子嵌入空间。该编码器在现有和合成数据集上训练，输出的盒子嵌入不仅捕捉语义相似性，还捕捉提示之间的具体性关系（例如，“编写冒险故事”比“编写故事”更具体）。我们进一步开发了一种用于盒子嵌入的新型维度缩减技术，以便于数据集的可视化和比较。我们的实验表明，盒子嵌入在捕捉提示具体性方面 consistently 优于向量基线。在下游任务中，针对来自UltraFeedback数据集的17个LLMs进行的分层聚类树创建任务中，PROMPT2BOX比向量基线多识别8.9%的LLM弱点，并实现约33%的层次深度与指令具体性之间的相关性提升。
引用
@article{arxiv.2603.21438,
title = {PROMPT2BOX: Uncovering Entailment Structure among LLM Prompts},
author = {Neeladri Bhuiya and Shib Sankar Dasgupta and Andrew McCallum and Haw-Shiuan Chang},
journal= {arXiv preprint arXiv:2603.21438},
year = {2026}
}