EmoDistill：基于对抗性谈判中情感技能的离线情感蒸馏
计算与语言
2026-05-27 v1 人工智能
摘要
后训练的大语言模型往往针对人类偏好进行优化，使其在安全、礼貌和对话恰当方面表现良好。然而，在对抗性谈判中，这种对齐可能成为漏洞：情感化的语言可能引导代理人偏向对方的利益。使用基于GoEmotions的情感驱动，我们展示情感显著改变谈判结果，表明情感不仅是表层风格，而是一种战略行动通道。因此，我们引入EmoDistill，一种将情感谈判技能蒸馏到语言模型代理人的离线框架。EmoDistill将情感策略分解为情感选择与情感表达：一个隐式Q学习(IQL)选择器学习“表达哪种情感”，而基于低秩适配(LoRA)的策略学习“如何通过监督微调(SFT)和Judge策略优化(JPO)来表达”。在四个情感敏感且高风险的谈判领域中，受EmoDistill框架训练的SLM策略实现最高效用，优于vanilla SLM/LLM基线和仅IQL情感选择方法。消融实验表明情感条件化至关重要，迁移研究显示其在跨领域、未知对手以及训练-训练锦标赛中具有广泛泛化能力。总体而言，EmoDistill从离线代理-代理互动中学习技能，避免了训练期间高成本的在线谈判。
引用
@article{arxiv.2605.26785,
title = {EmoDistill: Offline Emotion Skill Distillation for Language Model Agents in Adversarial Negotiation},
author = {Yunbo Long and Haolang Zhao and Lukas Beckenbauer and Liming Xu and Alexandra Brintrup},
journal= {arXiv preprint arXiv:2605.26785},
year = {2026}
}