通用预测的统一方法:广义上下界
机器学习
2014-01-24 v2
摘要
我们研究在平方误差损失下,对实值、任意且未知序列的序列预测,以及从一大类连续参数预测器类中选出的最佳参数预测器。受计算学习理论近期结果的启发,我们避免任何统计假设,并相对于一般参数预测器类来定义性能。特别地,我们通过将预测任务转化为参数学习问题,给出了这种相对性能的通用下界和上界。我们首先在专家混合框架中引入该相对性能的下界,并证明对于任何序列算法,总存在一个序列,使得该序列算法的性能下界为零。然后,我们引入一种序列学习算法来预测此类任意且未知序列,并计算其对每个有界序列的总平方预测误差的上界。我们进一步证明,在某些场景下,我们达到了匹配的下界和上界,表明我们的算法在强极小极大意义下是最优的,其性能无法再改进。作为一个有趣的结果,我们还证明,在最坏情况下,随机化算法的性能可以通过序列算法达到,因此随机化算法并不能提升性能。
引用
@article{arxiv.1311.6396,
title = {A Unified Approach to Universal Prediction: Generalized Upper and Lower Bounds},
author = {N. Denizcan Vanli and Suleyman S. Kozat},
journal= {arXiv preprint arXiv:1311.6396},
year = {2014}
}
备注
Submitted to IEEE Transactions on Neural Networks and Learning Systems