思维链微调：掩码语言模型也能在自然语言理解中逐步思考
计算与语言
2023-10-19 v1 机器学习
摘要
思维链（CoT）是一种引导大语言模型（LLM）通过自然语言形式的中间步骤将复杂任务分解为多步推理的技术。简言之，CoT 使 LLM 能够逐步思考。然而，尽管许多自然语言理解（NLU）任务也需要逐步思考，LLM 的表现不如小规模的掩码语言模型（MLM）。为将 CoT 从 LLM 迁移到 MLM，我们提出思维链微调（CoTT），一种基于提示微调的两步推理框架，以在 NLU 任务上实现 MLM 的逐步思考。从 CoT 的视角看，CoTT 的两步框架使 MLM 能够实现任务分解；CoTT 的提示微调允许以自然语言形式使用中间步骤。从而，CoT 的成功可通过 MLM 扩展到 NLU 任务。为验证 CoTT 的有效性，我们在两个 NLU 任务上开展实验：层次分类与关系抽取，结果表明 CoTT 优于基线并达到最先进性能。
引用
@article{arxiv.2310.11721,
title = {Chain-of-Thought Tuning: Masked Language Models can also Think Step By Step in Natural Language Understanding},
author = {Caoyun Fan and Jidong Tian and Yitian Li and Wenqing Chen and Hao He and Yaohui Jin},
journal= {arXiv preprint arXiv:2310.11721},
year = {2023}
}
备注
EMNLP2023 Main Conference