利用思维链元数据进行任务路由与对抗性提示检测
计算与语言
2025-03-28 v1 人工智能
性能
摘要
在这项工作中，我们提出了一种称为思维数量（NofT）的指标，用于在预提示阶段确定任务的难度，并在生产环境中支持大型语言模型（LLMs）。通过基于思维数量设置阈值，该指标可以辨别提示的难度并支持更有效的提示路由。当通过具有 17 亿、70 亿和 140 亿参数的 Deepseek 量化蒸馏版本对来自 MathInstruct 数据集的提示进行路由时，延迟降低了 2%。此外，该指标可用于高效检测提示注入攻击中使用的对抗性提示。思维数量可以为分类器提供信息，使其在对抗性提示检测中达到 95% 的准确率。我们的实验和所使用的数据集可在我们的 GitHub 页面获取：https://github.com/rymarinelli/Number_Of_Thoughts/tree/main。
引用
@article{arxiv.2503.21464,
title = {Harnessing Chain-of-Thought Metadata for Task Routing and Adversarial Prompt Detection},
author = {Ryan Marinelli and Josef Pichlmeier and Tamas Bisztray},
journal= {arXiv preprint arXiv:2503.21464},
year = {2025}
}