通过隐式对抗偏好优化的健康辅导双智能体协同训练
机器学习
2026-05-11 v1
摘要
基于动机性访谈的健康辅导是改善心理健康和促进健康行为改变的有效方法。然而，受过训练的人类辅导员的稀缺以及辅导服务的高昂成本，使得许多能从中受益的人无法获得此类支持。这促使了 AI 健康辅导员的开发，以提供可扩展且经济实惠的支持。现有方法通常仅优化交互的一方：要么在固定的客户端环境中训练对话智能体，要么在固定的助手端训练客户端模拟器。这种单侧设置可能会限制对交互空间的探索，并且在开发目标智能体所需能力及突破其性能边界方面可能效率低下。在本文中，我们提出了一个双智能体框架，交互式地协同训练健康辅导智能体和客户端模拟器。辅导员使用 DPO 进行优化，其利用由多维 LLM 评判器识别出的帕累托占优响应对。反过来，客户端通过反转这些偏好进行对抗性训练，从而引发隐式的对抗训练动态。我们进一步表明，这种协同训练过程具有自然的随机博弈解释。大量实验表明，我们的方法在多个重要维度上有效提升了辅导质量。
引用
@article{arxiv.2605.07011,
title = {Dual-Agent Co-Training for Health Coaching via Implicit Adversarial Preference Optimization},
author = {Da Long and Lingyi Fu and Diya Michelle Rao and Jasmine Ruales Carrera and Yang Bai and Shandian Zhe},
journal= {arXiv preprint arXiv:2605.07011},
year = {2026}
}