Zero-shot-CoT 在日语提示中的有效性
计算与语言
2025-03-11 v1 人工智能
摘要
我们使用 ChatGPT-3.5 和 4o-mini 比较了日语和英语中零样本思维链（zero-shot Chain-of-Thought, CoT）提示的有效性。零样本 CoT 技术涉及在提示中附加诸如“让我们一步一步思考”的短语以鼓励在回答前进行推理，已被证明能在数学和推理任务中提升 LLM 性能，尤其是在英语中。我们使用日本多任务语言理解基准（JMMLU）和多任务语言理解基准（MMLU）研究了这些效果如何迁移到日语。我们的结果表明，尽管零样本 CoT 提示可以在 GPT-3.5 的某些提示类别中带来显著的性能提升，但其在 GPT-4o-mini 中的影响却与显著的性能下降相关。然而，对于日语提示，仍然存在某些类别（如大学数学和抽象代数）依然表现出提升，尽管在更高级模型中有效性递减的总体趋势依然存在。
引用
@article{arxiv.2503.06765,
title = {Effectiveness of Zero-shot-CoT in Japanese Prompts},
author = {Shusuke Takayama and Ian Frank},
journal= {arXiv preprint arXiv:2503.06765},
year = {2025}
}
备注
NLP2025 Workshop on Japanese Language Resources (JLR2025)