OnRL-RAG：基于在线强化学习的实时个性化心理健康对话系统

大型语言模型（LLM）已被广泛用于各种任务和应用。然而，LLM及其微调受限于预训练数据。例如，ChatGPT截至2021年的世界知识可能已过时或不准确。为增强LLM的能力，提出了检索增强生成（RAG），以将额外的、最新的细节和信息增强到LLM中。虽然RAG提供正确信息，但在针对不同人群群体进行个性化呈现时可能并不理想。强化学习从人类反馈（RLHF）通过反馈循环将模型响应与人类偏好对齐，以适应用户需求。在现实应用中，如心理健康问题，基于动态和反馈的模型需要持续适应新信息，提供个性化援助，因为日常环境中存在复杂因素的频繁变化。因此，我们提出了基于在线强化学习的检索增强生成（OnRL-RAG）系统，用于检测并为心理健康问题（如压力、焦虑和抑郁）个性化响应系统。我们使用一个来自2028名大学生的开源数据集，每位学生回答28个调查问题，以演示所提出系统的性能与现有系统的对比。我们的系统通过GPT-4o、GPT-4o-mini、Gemini-1.5和GPT-3.5等模型，在标准RAG和简单LLM方面实现了卓越的性能。这项工作将开拔LLM在日常环境中为个性化服务提供实用性应用的可能性。结果也将帮助社会学、心理学和神经科学领域的研究者更贴近实际人类日常环境对齐其理论。