中文

今天的大语言模型是否足够好地解释幸福概念?

计算与语言 2025-08-07 v1 人工智能 人机交互

摘要

幸福涵盖心理、身体和社会三个维度,这些维度对于个人成长和做出明智的生活决策至关重要。随着更多人咨询大语言模型(LLM)来理解幸福,一个关键挑战是:LLM是否能够生成既准确又能满足不同受众期望的解释?高质量的解释需要具备事实正确性,以及满足不同专业背景用户期望的能力。在本工作中,我们构建了一个大规模数据集,包含43,880个2,194个幸福概念的解释,由十个不同的LLM生成。我们引入了一个以原则为导引的LLM评估框架,采用双重评判器来评估解释质量。此外,我们展示了通过监督微调(SFT)和直接偏好优化(DPO)对开源LLM进行微调,可显著提升生成解释的质量。我们的结果表明:(1) proposed LLM评判器与人类评估良好一致;(2)解释质量在不同模型、受众和类别之间存在显著差异;(3)采用DPO和SFT微调的模型在规模更大的模型中表现更佳,表明偏好基于学习对于专业化解释任务具有有效性。

关键词

引用

@article{arxiv.2508.03990,
  title  = {Are Today's LLMs Ready to Explain Well-Being Concepts?},
  author = {Bohan Jiang and Dawei Li and Zhen Tan and Chengshuai Zhao and Huan Liu},
  journal= {arXiv preprint arXiv:2508.03990},
  year   = {2025}
}

备注

9 pages, 4 figures, 3 tables