角色扮演如何塑造零样态 LLM 排序器中的相关性判断
信息检索
2026-01-14 v2
摘要
大型语言模型（LLM）已被视为具有前景的零样态排序器，但其性能对提示词的形式高度敏感。特别是角色扮演提示（role-play prompts），即将模型分配给特定功能角色或身份后，往往能提供更稳健和准确的相关性排序。然而，角色扮演效应的机制和多样性仍未得到充分探索，这限制了其有效应用和可解释性。在本工作中，我们系统性地检验了角色扮演变体如何影响零样态 LLM 排序器。我们运用机制可解释性中的因果干预技术，追踪角色扮演信息如何在 LLM 中塑造相关性判断。我们的分析揭示：(1) 对角色描述的精心设计对 LLM 排序质量影响巨大；(2) 角色扮演信号主要编码在早期网络层中，并与任务指令在中层网络中进行交流，而与查询或文档表示的互动有限。具体而言，我们识别出一组注意力头，这些注意力头对角色条件相关性至关重要。这些发现不仅阐明了角色扮演在 LLM 排序中的内在工作原理，也为在信息检索及更广泛领域设计更有效的提示提供了指导，指向了利用角色扮演在零样态应用中的更广泛机遇。
引用
@article{arxiv.2510.17535,
title = {How role-play shapes relevance judgment in zero-shot LLM rankers},
author = {Yumeng Wang and Jirui Qi and Catherine Chen and Panagiotis Eustratiadis and Suzan Verberne},
journal= {arXiv preprint arXiv:2510.17535},
year = {2026}
}