通过性格植入缓解大语言模型基于阈值的相关性判断中的基准效应
计算与语言
2025-12-02 v1 信息检索
摘要
近期研究探索了 LLM 作为规模化相关性标记工具，但研究表明它们容易受到基准效应的影响，即先前的相关性判断会影响后续判断。虽然心理学理论将性格特征与此类偏见联系起来，但尚不清楚模拟的性格在 LLM 中是否 exhibits 类似效应。我们使用 TREC 2021 和 2022 深度学习轨道数据集，调查 Big Five 性格轮廓如何影响相关性标记中的基准效应。我们的结果表明，某些轮廓，例如高开放性和低神经质，持续减少对基准效应的易感性。此外，最有效的性格在不同模型和任务类型之间可能有所不同。基于这些发现，我们提出性格引导作为缓解阈值基准的方法，将心理证据与 LLM 基于评估实践相连接。
关键词
引用
@article{arxiv.2512.00390,
title = {Mitigating the Threshold Priming Effect in Large Language Model-Based Relevance Judgments via Personality Infusing},
author = {Nuo Chen and Hanpei Fang and Jiqun Liu and Wilson Wei and Tetsuya Sakai and Xiao-Ming Wu},
journal= {arXiv preprint arXiv:2512.00390},
year = {2025}
}