ToMAP：训练具有心智理论的对手感知大语言模型说服者
计算与语言
2025-10-21 v2 机器学习
摘要
大语言模型（LLM）在说服方面展现出了可喜的潜力，但现有的关于训练 LLM 说服者的研究仍处于初步阶段。值得注意的是，虽然人类擅长主动且动态地建模对手的想法和观点，但当前的 LLM 在此类心智理论（ToM）推理方面存在困难，导致多样性和对手感知能力有限。为了解决这一局限性，我们引入了心智理论增强说服者（ToMAP），这是一种通过引入两个心智理论模块来构建更灵活说服者智能体的新方法，这两个模块增强了说服者对对手心理状态的感知和分析。具体而言，我们首先提示说服者考虑对目标核心主张可能存在的反对意见，然后使用一个文本编码器配合一个训练好的 MLP 分类器来预测对手当前对这些反主张的立场。我们精心设计的强化学习方案使说服者能够学会如何分析与对手相关的信息，并利用它生成更有效的论点。实验表明，ToMAP 说服者虽然仅包含 3B 参数，但在多个被说服者模型和多样化语料库上，其表现优于 GPT-4o 等大得多的基线模型，相对增益达 39.4%。值得注意的是，ToMAP 在训练期间展现出复杂的推理链并减少了重复，从而产生了更多样且更有效的论点。ToMAP 的对手感知特性也使其适用于长对话，并能够采用更具逻辑性和对手感知的策略。这些结果突显了我们方法的有效性，并强调了其在开发更具说服力的语言智能体方面的潜力。代码获取地址：https://github.com/ulab-uiuc/ToMAP。
引用
@article{arxiv.2505.22961,
title = {ToMAP: Training Opponent-Aware LLM Persuaders with Theory of Mind},
author = {Peixuan Han and Zijia Liu and Jiaxuan You},
journal= {arXiv preprint arXiv:2505.22961},
year = {2025}
}