一种用于序列机器教学的最优控制方法
机器学习
2018-10-17 v2 系统与控制
最优化与控制
机器学习
摘要
给定一个序列学习算法和一个目标模型，序列机器教学旨在找到最短的训练序列以驱动学习算法到达目标模型。我们提出了寻找此类最短训练序列的首个基于原理的方法。我们的核心见解是将序列机器教学表述为一个时间最优控制问题。这使我们能够借助过去60年最优控制领域发展的关键理论与计算工具来解决序列教学问题。具体而言，我们研究了Pontryagin极大值原理，它给出了训练序列最优性的必要条件。我们在一个以最小二乘损失函数和梯度下降学习器为案例的研究中，给出了该方法在解析、结构和数值上的启示。我们计算了该问题的最优训练序列，并且尽管这些序列看似绕远，我们发现它们可以大幅优于现有可用的用于生成训练序列的启发式方法。
引用
@article{arxiv.1810.06175,
title = {An Optimal Control Approach to Sequential Machine Teaching},
author = {Laurent Lessard and Xuezhou Zhang and Xiaojin Zhu},
journal= {arXiv preprint arXiv:1810.06175},
year = {2018}
}