通用框架：面向人类专家水平的基于大语言模型的多准则决策
人工智能
2025-02-25 v1
摘要
多准则决策 (MCDM) 在各个领域广泛应用，通过对多个层次和属性的定量和定性分析来支持决策者在复杂情境下进行科学和理性决策。然而，传统 MCDM 方法在高维问题上存在瓶颈。鉴于大语言模型 (LLM) 在各类复杂任务中取得了令人瞩目的成绩，但针对特定 MCDM 问题的评估工作有限且缺乏人类领域专家的帮助，我们进一步探索了 LLM 的潜力，通过提出一种基于 LLM 的评估框架来自动处理通用复杂 MCDM 问题。在该框架中，我们评估了各种典型开源模型以及商业模型如 Claude 和 ChatGPT 在 3 项重要应用上的表现，这些模型仅能实现约 60% 的准确率。Upon 采用链式思维或 few-shot 提示后，准确率提升至约 70%，且高度依赖具体模型。为进一步提升性能，我们采用 LoRA 微调技术。实验结果表明，针对不同应用的准确率显著提升至约 95%，且不同模型之间的性能差异微乎其微，这表明 LoRA 微调后的大语言模型在解决 MCDM 任务方面具有显著且稳定的优势，能够为广泛的 MCDM 挑战提供人类专家水平的解决方案。
引用
@article{arxiv.2502.15778,
title = {One for All: A General Framework of LLMs-based Multi-Criteria Decision Making on Human Expert Level},
author = {Hui Wang and Fafa Zhang and Chaoxu Mu},
journal= {arXiv preprint arXiv:2502.15778},
year = {2025}
}
备注
11 pages, 6 figures