一种面面俱到的数据探针：面向大语言模型的小型语言模型

指令数据的质量直接影响微调大型语言模型 (LLM) 的性能。此前，\cite{li2023one} 提出了 \texttt{NUGGETS} 方法，通过识别那些在作为 one-shot 实例学习后能显著提升不同任务性能的单个指令示例，从而从大数据集中筛选出高质量数据。在本工作中，我们提出了 \texttt{SuperNUGGETS}，是 \texttt{NUGGETS} 的改进版本，针对效率和性能进行了优化。我们的 \texttt{SuperNUGGETS} 使用小型语言模型 (SLM) 而非大型语言模型 (LLM) 来筛选出优秀的 one-shot 实例，并细化了预定义的测试集。实验结果表明，\texttt{SuperNUGGETS} 的性能仅比 \texttt{NUGGETS} 下降 1-2%，但效率提升了 58 倍。相较于原始 \texttt{NUGGETS}，我们的 \texttt{SuperNUGGETS} 由于显著降低了资源消耗，具有更高的实用价值。