衡量大语言模型指令中的实用主义影响
计算与语言
2026-02-26 v1 人工智能
摘要
我们并非只关心我们要求大语言模型（LLM）执行的任务内容，更在乎我们如何提示。诸如“This is urgent”或“As your supervisor”等短语，能在不改变任务内容的情况下改变模型行为。我们将这种效应研究为实用主义框架，作为指令解释的情境线索，而非任务规范。虽然先前工作利用此类线索进行提示优化或将其探针作为安全漏洞，但实用主义框架本身尚未被视为指令遵循的可衡量属性。系统性地衡量这一影响仍具挑战性，需要受控隔离框架线索。我们引入一个框架，包含三个新组件：指令-框架分解，将框架情境与任务规范分离；一个将 400 种框架实例组织为 13 种策略的分类体系；以及基于优先级的测量方法，通过可观察的指令优先级偏移量来量化影响。我们在五个不同家族和规模的 LLM 中发现，影响机制导致指令优先级呈一致且结构化的偏移，使模型从基线中立态转向偏好被框架化的指令。本工作确立了实用主义框架作为指令遵循系统中可衡量且可预测因素。
引用
@article{arxiv.2602.21223,
title = {Measuring Pragmatic Influence in Large Language Model Instructions},
author = {Yilin Geng and Omri Abend and Eduard Hovy and Lea Frermann},
journal= {arXiv preprint arXiv:2602.21223},
year = {2026}
}