Mothman在SemEval-2024任务9：一种用于思维链提示优化的迭代系统
计算与语言
2024-09-20 v1
摘要
关于大型语言模型在基于逻辑的任务上的性能已有广泛研究，而对于它们在横向思维任务上生成创造性解决方案的能力的研究相对较少。BrainTeaser共享任务测试横向思维，并使用对抗性数据集来防止记忆，导致开箱即用的模型性能不佳。我们提出了一种用于迭代式思维链提示工程的系统，该系统使用人工评估来优化提示。利用这个共享任务，我们证明了我们的系统通过优化提示和评估输入数据集来显著提高模型性能的能力。
引用
@article{arxiv.2405.02517,
title = {Mothman at SemEval-2024 Task 9: An Iterative System for Chain-of-Thought Prompt Optimization},
author = {Alvin Po-Chun Chen and Ray Groshan and Sean von Bayern},
journal= {arXiv preprint arXiv:2405.02517},
year = {2024}
}
备注
13 pages, 2 figures, to be published in Proceedings of the 18th International Workshop on Semantic Evaluation (SemEval-2024)