无意义词汇掩码：哈希 LLM 提示中的偏见诱导词可提升逻辑推理与统计学习性能
计算与语言
2025-06-12 v2 人工智能
摘要
本文提出了一种新方法，称为“哈希”，即通过将大型语言模型（LLM）提示中的潜在偏见诱导词掩码为类似哈希的无意义标识，以减少认知偏见并减少对外部知识的依赖。该方法在包含 490 个提示的三个实验集合中进行测试。采用卡方统计检验显示，所有测试场景下的表现均显著提升，涵盖 LLaMa、ChatGPT、Copilot、Gemini 和 Mixtral 模型。在第一个实验中，哈希降低了旨在评估认知偏见易感性的“Linda”问题的错误率。在第二个实验中，它改进了 LLM 在频繁项提取任务中的结果。在第三个实验中，我们发现哈希在将 Linda 问题以表格格式而非文本形式呈现时同样有效，表明该技术在各种输入表示形式中都有效。总体而言，该方法显著降低了偏见，同时提升了对外部知识的整合。尽管偏见降低，但不同 LLM 模型类型的幻觉率变化不大。这一发现表明，掩码偏见诱导术语可提升 LLM 性能，但其有效性取决于具体模型和任务。
引用
@article{arxiv.2411.17304,
title = {Meaningless is better: hashing bias-inducing words in LLM prompts improves performance in logical reasoning and statistical learning},
author = {Milena Chadimová and Eduard Jurášek and Tomáš Kliegr},
journal= {arXiv preprint arXiv:2411.17304},
year = {2025}
}