NICE：优化上下文示例与否？

最近的工作表明，上下文学习和上下文示例 (ICE) 的优化可以显著提高大型语言模型 (LLM) 在各种任务上的准确性，从而导致一种明显的共识，即 ICE 优化对于更好的性能至关重要。然而，大多数这些研究假设提示中提供的指令是固定的或没有指令。我们通过调查在提供特定任务指令时优化 ICE 的必要性来挑战这一共识，并发现对于许多任务而言，其收益递减。特别是，使用多样化的任务集和系统创建的、细节逐渐增加的指令集，我们发现随着提示指令变得更加详细，ICE 优化的收益会减少。为了表征这种行为，我们引入了一种特定任务的度量标准，称为“示例选择归一化不变性”(NICE)，该标准量化了从给定指令中学习任务的可行性，并提供了一种启发式方法，以帮助决定是针对新任务优化指令还是 ICE。给定一个任务，所提出的度量标准可以可靠地预测优化 ICE 相对于使用随机 ICE 的效用。我们的代码可在 https://github.com/microsoft/nice-icl 获取。