PQR：用于生成以 QA 代理故障为目标的多样且真实用户查询的框架
计算与语言
2026-05-19 v1
摘要
评估基于大语言模型的智能体仍然具有挑战性，因为识别有意义的失败案例通常需要大量人工 effort 来设计真实的测试情景。以往的工作主要关注自动发现由对抗性用户引发的智能体失败，却忽略了带有真实用户意图且同样触发故障的查询。我们提出 PQR 框架，不仅能针对特定目标（如有用性、安全性等）揭示智能体失败，还能模拟真实用户的意图。PQR 通过两个互补模块的迭代交互来实现：查询细化模块对查询进行改写以探索多样的查询变体，而提示细化模块则利用先前反馈推导出新的违反目标的策略和真实性策略，以细化提示，从而生成具有挑战性且符合真实用户查询的请求。我们在检测电商 QA 智能体无帮助响应方面进行评估。我们的方法发现比以往方法高出 23% - 78% 的无帮助响应，且生成的查询在多样性和真实性方面优于先前方法。
引用
@article{arxiv.2605.16551,
title = {PQR: A Framework to Generate Diverse and Realistic User Queries that Elicit QA Agent Failures},
author = {Yunan Lu and Luigi Liu and Omar Yahia and Arpit Sharma and Zhou Yu},
journal= {arXiv preprint arXiv:2605.16551},
year = {2026}
}