跳出框框思考：通过创意幽默生成探索大语言模型中的思维跃迁
人工智能
2024-04-23 v3 计算与语言
计算机视觉与模式识别
摘要
思维链引导大语言模型进行逐步推理，能够激发其逻辑推理能力。尽管 CoT 在逻辑任务上很有效，但不利于创造性问题的解决，而创造性问题解决通常需要跳出框框的思考，且对创新进步至关重要。在本文中，我们探索了 LLM 内的思维跃迁能力——这是一种涉及强关联和知识跳跃的非顺序性、创造性范式。为此，我们在流行的“大喜利”游戏上研究 LLM，该游戏需要参与者具备良好的创造力和强联想思维，以便对给定的图像、文本或两者做出出人意料且幽默的回答，因此适合用于 LoT 研究。然后，为了研究 LLM 在大喜利游戏中的 LoT 能力，我们首先构建了一个多模态和多语言的大喜利数据集，其中包含来自大喜利游戏的超过 130,000 个样本，并观察到大多数现有 LLM 在大喜利游戏中表现出 LoT 能力不足或失败。因此，我们引入了创造性思维跃迁范式来提升 LLM 的 LoT 能力。CLoT 首先将 Oogiri-GO 数据集公式化为面向 LoT 的指令微调数据，以训练预训练 LLM，使其具备一定的 LoT 幽默生成和判别能力。然后，CLoT 设计了一种探索性自我精炼，鼓励 LLM 通过探索看似无关概念之间的相似性来生成更多创造性 LoT 数据，并选择高质量数据来训练自身以进行自我精炼。CLoT 不仅在大喜利游戏的幽默生成方面表现出色，还在猜云游戏和发散联想任务等各种任务中提升了创造能力。这些发现增进了我们的理解，并为提升 LLM 在跨领域创新应用中的创造能力提供了一条途径。数据集、代码和模型将在线发布。https://zhongshsh.github.io/CLoT/。
引用
@article{arxiv.2312.02439,
title = {Let's Think Outside the Box: Exploring Leap-of-Thought in Large Language Models with Creative Humor Generation},
author = {Shanshan Zhong and Zhongzhan Huang and Shanghua Gao and Wushao Wen and Liang Lin and Marinka Zitnik and Pan Zhou},
journal= {arXiv preprint arXiv:2312.02439},
year = {2024}
}
备注
Technical report