多观测回归

近期工作引入了基于多个同时观测或结果来衡量预测误差的损失函数。本文中,我们探讨在数据集中 $(x,y)$ 对上使用此类多观测损失进行回归时所出现的理论与实际问题。当损失仅依赖于单一观测时,平均经验损失可通过将损失应用于每一对而分解;但在多观测情形下,经验损失甚至无法良好定义,且若无多个 $x$ 值完全相同的 $(x,y)$ 对,统计保证的可能性并不明确。我们提出四种算法,形式化了该问题的经验风险最小化概念,其中两种在允许慢速与快速收敛速率的设定下具有统计保证,但在实证上被另两种超越。实证结果显示这些算法在低维设定中的实用性,而下界则揭示了高维中的内在困难。最后,我们通过下界与仿真展示了这些算法相对于使用传统单观测损失的自然基线的潜在优势。