StaICC：面向 In-Context Learning 中分类任务的标准化评估

Liang Zhao

StaICC：面向 In-Context Learning 中分类任务的标准化评估

数论 2025-01-28 v1

作者: Liang Zhao

摘要

分类任务在 In-Context Learning（ICL）范式中受到广泛关注。然而，当前工作的评估基于互不相交的基准和设置，而其表现显受到诸多显著变量的影响，如提示模板、数据抽样、指令等，这导致不同文献中结果报告存在显著不一致，阻碍对不同论文进行公平比较或元分析。因此，本文提出了一个标准化且易于使用的评估工具包（StaICC），用于 ICL 中的分类任务。对于常规分类任务，我们提供 StaICC-Normal，挑选 10 个广泛使用的数据集，并生成固定形式的提示，以减轻实验实现之间的差异。为丰富本基准的使用，我们还提供一个子基准 StaICC-Diag，用于从多个方面诊断 ICL，以实现更稳健的推理处理。

关键词

In-Context 学习分类任务评估基准提示模板标准化评估

引用

@article{arxiv.2501.15707,
  title  = {Proof of Existence of Integers Excluding Two Residue Values in a Specific Range},
  author = {Liang Zhao},
  journal= {arXiv preprint arXiv:2501.15707},
  year   = {2025}
}

备注

7

StaICC：面向 In-Context Learning 中分类任务的标准化评估

摘要

关键词

引用

备注

相关论文