提示是否重塑表征？对提示对嵌入影响的实证研究
计算与语言
2025-10-23 v1 人工智能
摘要
提示技术是一种在零样本设置下利用大语言模型的常见方法。然而，使大模型能够在无任务特定监督的情况下完成多样化任务的底层机制仍然 poorly understood。研究提示与内部表征质量之间的关系有助于阐明预训练嵌入如何支持原地任务解决。在本实证研究中，我们对提示嵌入进行一系列探针实验，分析了用于零样本分类的各种提示模板组合。我们的发现表明，尽管提示会影响表征的质量，但这些变化并不总是与提示与目标任务相关性相一致。这一结果挑战了“更相关的提示必然导致更好的表征”这一假设。我们进一步分析了可能导致这种意外行为的各种因素。
引用
@article{arxiv.2510.19694,
title = {Do Prompts Reshape Representations? An Empirical Study of Prompting Effects on Embeddings},
author = {Cesar Gonzalez-Gutierrez and Dirk Hovy},
journal= {arXiv preprint arXiv:2510.19694},
year = {2025}
}