Bootstrapped 元学习

元学习通过学习如何学习，赋能人工智能提高其效率。释放这一潜力需要克服一个具有挑战性的元优化问题。我们提出了一种算法，通过让元学习器自我教学来解决这个问题。该算法首先从元学习器中 bootstrap 一个目标，然后通过最小化在所选（伪）度量下与该目标的距离来优化元学习器。聚焦于基于梯度的元学习，我们确立了保证性能提升的条件，并表明该度量可以控制元优化。同时，bootstrapping 机制可以扩展有效的元学习视野，而无需通过所有更新进行反向传播。我们在 Atari ALE 基准上实现了无模型智能体的新 SOTA，并证明它在多任务元学习中能带来性能和效率的双重提升。最后，我们探讨了 bootstrapping 如何开辟新的可能性，并发现在 $\epsilon$-贪心 Q-learning 智能体中，它可以在不通过更新规则进行反向传播的情况下元学习高效的探索。