当数据逐步对模型作出反应时如何学习

近期一系列工作聚焦于在施行式（performative）设定下训练机器学习（ML）模型，即数据分布对部署的模型作出反应。该设定下的目标是学习一个既诱导出有利数据分布又在该诱导分布上表现良好的模型，从而最小化测试损失。先前关于寻找最优模型的工作假设数据分布立即适应于部署的模型。然而在实践中，情况可能并非如此，因为群体可能需要时间适应模型。在许多应用中，数据分布既依赖于当前部署的ML模型，也依赖于模型部署前群体所处的“状态”。在这项工作中，我们提出一种新算法——有状态施行式梯度下降（Stateful Performative Gradient Descent，Stateful PerfGD），即便存在这些效应也能最小化施行式损失。我们为Stateful PerfGD的收敛性提供了理论保证。我们的实验证实Stateful PerfGD大幅优于先前最先进的方法。