基于大型语言模型的语义保持表情符号推荐

表情符号已成为数字通信不可或缺的一部分，通过传达情感、语气和意图来丰富文本。现有的表情符号推荐方法主要根据其匹配用户在原始文本中选择的确切表情符号的能力进行评估。然而，它们忽略了社交媒体上用户行为的本质，即每段文本可以对应多个合理的表情符号。为了更好地评估模型与这种真实世界表情符号使用情况的契合能力，我们提出了一种新的语义保持表情符号推荐评估框架，该框架衡量模型推荐与用户文本保持语义一致性的表情符号的能力。为了评估模型保持语义的程度，我们评估用户的预测情感状态、人口统计特征和态度立场是否保持不变。如果这些属性得以保持，我们认为推荐的表情符号维持了原始语义。大型语言模型（LLM）在理解和生成细致入微、与上下文相关的输出方面具有先进能力，使其非常适合处理语义保持表情符号推荐的复杂性。为此，我们构建了一个综合基准，以系统评估六个专有和开源 LLM 在我们的任务中使用不同提示技术的性能。我们的实验表明，GPT-4o 优于其他 LLM，达到了 79.23% 的语义保持分数。此外，我们进行了案例研究，以分析下游分类任务中的模型偏差，并评估推荐表情符号的多样性。