基于语言选择的 LLM 生成比较可视化指纹
人工智能
2026-05-08 v1 人机交互
摘要
大语言模型（LLM）的输出源于提示词、系统指令、模型参数和架构等复杂相互作用。我们将这些因素的特定配置称为生成条件，每种条件都可能以各种方式偏向输出。理解不同生成条件如何塑造模型行为对于提示设计和模型评估等任务至关重要，却因文本生成的随机性和开放性质而具有挑战性。我们提出了一种方法，通过建模响应作为语言选择的集合（包括内容、表达和结构）来可视化比较 LLM 的不同生成条件。我们使用自然语言处理管道提取这些选择，并表示其在重复抽样中的分布。随后，我们将这些分布可视化为视觉指纹，实现对条件特定倾向的直接、分布层面的比较。通过四个使用场景，我们展示了视觉指纹揭示的 LLM 行为中一致模式，这些模式难以通过单个响应或聚合指标观察到。
引用
@article{arxiv.2605.06054,
title = {Visual Fingerprints for LLM Generation Comparison},
author = {Amal Alnouri and Andreas Hinterreiter and Christina Humer and Furui Cheng and Marc Streit},
journal= {arXiv preprint arXiv:2605.06054},
year = {2026}
}
备注
Submitted to the Short Paper track at IEEE VIS 2026