检验大型语言模型中关系对齐的作用
计算与语言
2024-10-03 v1 社会与信息网络
摘要
生成式 AI 的快速开发和部署引发关于如何为用户优化个人化方案以同时保持准确性和真实性的重要问题。基于 Facebook 公开帖子-评论数据集，本研究评估了 Llama 3.0 (70B) 预测不同组合下评论者与帖子作者性别、年龄和友谊亲密程度语气能力，并复制这些差异于 LLM 生成评论的能力。本研究分为两个部分：第一部分评估了不同社交关系类别间语气的差异，第二部分检查了 Llama 3.0 (70B) 生成的评论与第一部分中来自 Facebook 公开帖子的人类评论之间的相似性。第一部分结果表明，包含社交关系信息可提高模型预测人类评论语气的能力。然而，第二部分结果表明，即使在提示中不包含社交上下文信息，LLM 生成的评论与人类评论同样敏感于社交上下文，表明 LLM 能够从原始帖子本身理解语义并作出类似人类评论的响应。当我们在提示中包含所有社交关系信息时，人类评论与 LLM 生成评论之间的相似性会降低。这一不一致性可能是因为 LLM 在训练数据中未包含社交上下文信息。总体而言，这些结果表明 LLM 能够理解原始帖子的语义并作出类似人类评论的响应，但也突显了仅通过提示无法实现高度个性化评论的局限性。
关键词
引用
@article{arxiv.2410.01708,
title = {Examining the Role of Relationship Alignment in Large Language Models},
author = {Kristen M. Altenburger and Hongda Jiang and Robert E. Kraut and Yi-Chia Wang and Jane Dwivedi-Yu},
journal= {arXiv preprint arXiv:2410.01708},
year = {2024}
}