EMODIS：面向大语言模型的上下文依赖表情符号消歧基准
计算与语言
2025-11-11 v1
摘要
大语言模型 (LLM) 正在实际应用场景中部署，但其解决上下文依赖歧义的能力尚未得到充分探索。本文提出 EMODIS，一个用于评估 LLM 在有限但对比性文本上下文下解释模糊表情符号表达能力的新基准。EMODIS 的每个实例包含一个含有表情符号的模糊句子、两个导致不同解释的消歧上下文，以及一个需要上下文推理的特定问题。我们评估了开源和基于 API 的 LLM，发现即使是最强的模型在仅有细微上下文线索时也常常无法区分含义。进一步分析揭示了对主导解释的系统性偏见以及对语用对比的敏感性不足。EMODIS 为评估上下文消歧提供了严格的测试基准，并突显了人类与 LLM 在语义推理之间的差距。
引用
@article{arxiv.2511.07193,
title = {EMODIS: A Benchmark for Context-Dependent Emoji Disambiguation in Large Language Models},
author = {Jiacheng Huang and Ning Yu and Xiaoyin Yi},
journal= {arXiv preprint arXiv:2511.07193},
year = {2025}
}
备注
Accepted by AAAI2026