基于聚类距离加权链式思维的 CDW-CoT 方法
机器学习
2025-01-22 v1
摘要
大型语言模型 (LLM) 近期通过链式思维 (CoT) 提示技术在复杂推理任务中取得了令人瞩目的成绩。然而，大多数现有 CoT 方法依赖使用相同的提示，无论是手动设计还是自动生成，以处理整个数据集。这种一种适用于所有数据的方法可能无法满足来自单个数据集内部多样性所产生的具体需求。为解决此问题，我们提出了聚类距离加权链式思维 (CDW-CoT) 方法，通过集成聚类和提示优化技术，动态构建针对每个数据实例特征的定制提示。我们的方法使用聚类算法将数据集划分为离散的子组，从中选择一组候选提示以反映数据集内的内在多样性。对于每个聚类，CDW-CoT 训练其特定特征的最优提示概率分布。最后，基于每个测试实例到聚类中心的距离，动态构建唯一的提示概率分布，从中选择提示进行推理。CDW-CoT 在包括常识、符号和数学推理任务在内的六个数据集上 consistently 优于传统 CoT 方法。具体而言，与手动 CoT 相比，CDW-CoT 在 LLaMA2 (13B) 上的平均准确率提升 25.34%，在 LLaMA3 (8B) 上的提升为 15.72%。
引用
@article{arxiv.2501.12226,
title = {CDW-CoT: Clustered Distance-Weighted Chain-of-Thoughts Reasoning},
author = {Yuanheng Fang and Guoqing Chao and Wenqiang Lei and Shaobo Li and Dianhui Chu},
journal= {arXiv preprint arXiv:2501.12226},
year = {2025}
}
备注
aaai25(poster)