仅需三十个 token 用户提示：击败十二个 LLM 的推广性推荐
计算机视觉与模式识别
2026-05-14 v1
摘要
Wu 等人 (2026) 表明，大多数前沿大语言模型 (LLM) 在系统提示包含软赞助线索时，会推荐大约贵两倍的机票。我们在十个开源权重聊天模型上复现了他们的评估，并测试了仍可访问的其中两个模型（gpt-3.5-turbo, gpt-4o）。本文中所有报告率均使用原始论文使用的评判器 (gpt-4o)；我们额外存储每个标签下的开源权重 (gpt-oss-120b) 和较小的专有模型 (gpt-4o-mini) 评判器以进行消融。首先出现三项发现：首先，仅 prose 描述的 LLM 评估管道本身并不足以实现准确复现：我们发现三个静默实现故障，每个故障都将报告率偏移数十个百分点。其次，核心论点确实具有普遍性——gpt-3.5-turbo logistic 回归截距 alpha = 0.81 介于原始 alpha = 0.86 四个点内，200/200 次 gpt-3.5-turbo 和 gpt-4o 试验都将放贷人推广给财务困苦用户。第三ly，一个三十个 token 的用户提示要求助手提供中性比较表，即可将十个开源模型平均推荐率从 46.9% 降至 1.0%，将两个 OpenAI 模型平均推荐率从 53.0% 降至 0%。AI 素养和价格比较门户可能是市场层面的缓解措施；有害产品单元并非由此决定。原始数据、标签和分析脚本位于 https://github.com/akmaier/Paper-LLM-Ads。
引用
@article{arxiv.2605.12772,
title = {Just Ask for a Table: A Thirty-Token User Prompt Defeats Sponsored Recommendations in Twelve LLMs},
author = {Andreas Maier and Jeta Sopa and Gozde Gul Sahin and Paula Perez-Toro and Siming Bayer},
journal= {arXiv preprint arXiv:2605.12772},
year = {2026}
}
备注
Submitted to Workshop on Textual Information Processing & Synthesis in the Wild