MCTSr-Zero：基于原则与自适应探索的自我反思心理咨询对话生成

将蒙特卡洛树搜索 (MCTS) 与大语言模型 相结合，在结构化、面向问题的任务中已展现出显著的成功。然而，将这些方法应用于开放式对话（如心理咨询中的对话）带来了独特的挑战。与具有客观正确性的任务不同，治疗性对话的成功取决于共情参与、伦理遵守和与人类偏好的一致性等主观因素，而这些因素没有明确的严格“正确性”标准。因此，现有的以结果为导向的 MCTS 方法可能会产生不一致的回复。为了解决这个问题，我们引入了 MCTSr-Zero，这是一个专为开放式、以人为中心的对话设计的 MCTS 框架。其核心创新是“领域对齐”，它将 MCTS 的搜索目标从预定义的终态转向符合目标领域原则（例如咨询中的共情）的对话轨迹。此外，MCTSr-Zero 引入了“重生成”和“元提示适应”机制，通过允许 MCTS 考虑根本不同的初始对话策略来大幅拓宽探索范围。我们在心理咨询领域评估了 MCTSr-Zero，生成了多轮对话数据，用于微调一个 LLM，PsyLLM。我们还引入了 PsyEval，一个用于评估多轮心理咨询对话的基准。实验表明，PsyLLM 在 PsyEval 和其他相关指标上实现了 SOTA 性能，验证了 MCTSr-Zero 在为以人为中心的领域生成高质量、符合原则的对话数据方面的有效性，并解决了 LLM 始终遵守复杂心理学标准的挑战。