两者皆重要：在不损害通用智能的情况下增强大语言模型的情商
计算与语言
2024-06-13 v3
摘要
情商（EI）由情绪感知、情绪认知和情绪表达组成，在提升当前基于大语言模型（LLM）的对话式通用 AI 助手的用户交互体验方面发挥着关键作用。先前的工作主要侧重于通过在 EI 相关的分类或回归任务上进行朴素微调来提高其情绪感知能力。然而，这导致 EI 增强不完整以及通用智能（GI）的灾难性遗忘。为此，我们首先介绍了 \textsc{EiBench}，这是一个大规模的文本到文本形式的 EI 相关任务集合，包含涵盖 EI 三个方面的任务指令，为 LLM 的全面 EI 增强奠定了坚实基础。然后，提出了一种新颖的模块化情商增强方法（\textbf{MoEI}），由模块化参数扩展和层内 - 层间调制组成，旨在全面增强 LLM 的 EI 而不损害其 GI。在两个代表性的基于 LLM 的助手 Flan-T5 和 LLaMA-2-Chat 上进行的大量实验证明了 MoEI 在提升 EI 的同时保持 GI 的有效性。
引用
@article{arxiv.2402.10073,
title = {Both Matter: Enhancing the Emotional Intelligence of Large Language Models without Compromising the General Intelligence},
author = {Weixiang Zhao and Zhuojun Li and Shilong Wang and Yang Wang and Yulin Hu and Yanyan Zhao and Chen Wei and Bing Qin},
journal= {arXiv preprint arXiv:2402.10073},
year = {2024}
}
备注
To appear at Findings of ACL 2024