提示中蕴含什么？语言模型在提示嵌入中编码文学风格
计算与语言
2025-05-26 v1
摘要
大型语言模型使用高维潜空间对文本信息进行编码和处理。已有大量研究探讨了词语概念内容如何转化为其向量表示之间的几何关系。更少的研究分析了整个提示的信息在 transformer 层的作用下如何压缩到单个嵌入中。我们使用文学作品表明，关于提示中非具体（而非事实）方面的信息包含在深层表示中。我们观察到，来自不同小说的短篇摘录（10-100 个标记）在潜空间中独立于其聚焦的下一个标记预测进行分离。来自同一作者的书的集合与跨作者的书的集合相互交织，表明嵌入编码了风格特征。这种风格的几何结构可能用于署目归属和文学分析，但更重要的是揭示了语言模型所完成信息处理和压缩的 sophistication。
引用
@article{arxiv.2505.17071,
title = {What's in a prompt? Language models encode literary style in prompt embeddings},
author = {Raphaël Sarfati and Haley Moller and Toni J. B. Liu and Nicolas Boullé and Christopher Earls},
journal= {arXiv preprint arXiv:2505.17071},
year = {2025}
}