基于 Shapley 值的提示词估值
计算与语言
2024-12-17 v2 数据库
机器学习
摘要
大型语言模型（LLMs）仅需提供展示任务执行方式的自然语言提示词，无需额外训练即可在新任务上表现出色。提示词集成方法能够全面利用 LLMs 的知识，同时减轻个体偏差和错误，进一步提升性能。然而，更多的提示词并不一定带来更好的结果，并非所有提示词都是有益的。少量高质量提示词往往优于大量低质量提示词。目前，缺乏一种合适的方法来评估提示词对结果的影响。在本文中，我们利用 Shapley 值公平地量化提示词的贡献，帮助识别有益或有害的提示词，并可能指导数据市场中的提示词估值。通过在多样化任务上采用各种集成方法和效用函数进行大量实验，我们验证了将 Shapley 值方法用于提示词的有效性，因为它能有效区分并量化每个提示词的贡献。
引用
@article{arxiv.2312.15395,
title = {Prompt Valuation Based on Shapley Values},
author = {Hanxi Liu and Xiaokai Mao and Haocheng Xia and Jian Lou and Jinfei Liu and Kui Ren},
journal= {arXiv preprint arXiv:2312.15395},
year = {2024}
}