ChatGPT 有趣,但并不幽默!幽默仍是大型语言模型的挑战
人工智能
2023-06-08 v1 计算与语言
人机交互
机器学习
摘要
幽默是人类交流的核心方面,迄今为止尚未被人工智能体解决。大型语言模型(LLMs)正日益能够捕捉隐含与上下文信息。尤其是 OpenAI 的 ChatGPT 近期获得了极大的公众关注。这一基于 GPT3 的模型几乎能在人类水平上交流,甚至能讲笑话。幽默是人类交流的重要组成部分。但 ChatGPT 真的幽默吗?我们将 ChatGPT 的幽默感付诸测试。在围绕笑话的一系列探索性实验(即生成、解释与检测)中,我们试图理解 ChatGPT 把握和复现人类幽默的能力。由于该模型本身不可访问,我们采用了基于提示的实验。我们的经验证据表明,笑话并非硬编码,但大多也非模型新生成。在 1008 个生成笑话中,超过 90% 是同样的 25 个笑话。该系统能准确解释有效笑话,但也会为无效笑话编造虚构解释。笑话的典型特征会在笑话分类中误导 ChatGPT。ChatGPT 尚未解决计算幽默问题,但它可能是迈向“幽默”机器的重大飞跃。
引用
@article{arxiv.2306.04563,
title = {ChatGPT is fun, but it is not funny! Humor is still challenging Large Language Models},
author = {Sophie Jentzsch and Kristian Kersting},
journal= {arXiv preprint arXiv:2306.04563},
year = {2023}
}