从压缩观测中学习

统计学习问题旨在基于来自联合分布 $(X,Y)$ 的独立同分布训练样本，构建一个随机变量 $Y$ 关于相关随机变量 $X$ 的预测器。允许的预测器取自某个指定类，目标是渐近地逼近该类中最佳预测器的性能（期望损失）。我们考虑这样一种情形：样本的 $X$ 部分可以被完美观测，而 $Y$ 部分必须以有限的比特率进行传输。$Y$ 值的编码允许依赖于 $X$ 值。在容许预测器、基础概率分布族以及损失函数满足适当正则性条件的情况下，我们利用条件失真 - 率函数给出了可实现预测器性能的信息论刻画。这些思想通过高斯噪声下的非参数回归示例进行了说明。