线性动力系统的元学习在线控制

在本文中，我们考虑寻找一种元学习在线控制算法的问题，该算法能在面对一串 $N$ 个（相似的）控制任务时跨任务学习。每个任务涉及在有限时域 $T$ 个时间步内控制一个线性动力系统。每步的代价函数与系统噪声是对抗性的，且在采取控制动作前对控制器未知。元学习是一种广泛的方法，其目标是利用其他任务的信息及任务间的相似性，为任何新的未见任务规定在线策略。我们针对该控制设定提出一种元学习在线控制算法，并通过 \textit{meta-regret}（跨任务的平均累积后悔）来刻画其性能。我们证明当任务数量足够大时，所提方法实现的 meta-regret 比不进行跨任务学习的独立学习在线控制算法小一个因子 $D/D^{*}$，其中 $D$ 为问题常数，$D^{*}$ 为随任务间相似性增大而减小的标量。因此，当任务序列相似时，所提元学习在线控制的后悔显著低于无元学习的朴素方法。我们还给出实验结果以展示元学习算法所实现的优越性能。