基于竞价市场预测的LLM微调截止时间感知在线调度

随着基础模型规模的增大，微调它们的成本变得越来越高。虽然GPU竞价实例提供了一种比按需资源成本更低的选择，但其波动的价格和可用性使得截止时间感知的调度极具挑战性。我们通过混合使用竞价实例和按需实例来应对这一难题。独特的是，我们展示了竞价实例市场中价格和可用性的可预测性、预测在实现成本效益调度方面的力量及其对估计误差的敏感性。我们构建了一个整数规划问题，以捕捉在价格和可用性动态变化下混合实例的使用。我们提出了一种基于承诺水平控制方法的带预测在线分配算法，该算法利用一个承诺水平来强制执行部分决策序列。当此预测变得不准确时，我们进一步提出了一种无预测的互补在线算法。我们开发了一种在线策略选择算法，该算法通过改变两种算法的参数构建一个策略池，并从中学习最佳策略。我们证明，随着预测误差的减小，基于预测的算法能实现更紧的性能界限，而策略选择算法具有$\mathcal{O}(\sqrt{T})$的遗憾界。实验结果表明，我们的在线框架能够在不同的竞价市场动态和预测质量下自适应地选择最佳策略，始终优于基线方法，并将效用提升高达54.8%。