ReLU网络的在线可实现回归及其应用

在线可实现回归与在线分类的行为差异显著。即便不做任何边际或随机性假设，可实现性仍可能在度量类损失下实现无限（有限）累积损失，而对应的分类问题可能具有无限的错误界。我们在对抗模型下研究满足近似三角不等式（近似伪度量）的损失函数下的可实现在线回归。Attias等人最近的工作表明，最小imax可实现累积损失由缩放Littlestone/在线维数$\mathbb{D}_{\mathrm{onl}}$ characterize，但该量数难以分析。我们的主要贡献是一种通用势能方法，用具体的Dudley型熵积分上界$\mathbb{D}_{\mathrm{onl}}$，该积分仅取决于假设类在诱导sup伪度量下whose covering numbers。我们定义一种“熵势能”$\Phi(\mathcal{H})=\int_{0}^{diam(\mathcal{H})} \log N(\mathcal{H},\varepsilon)\,d\varepsilon$，其中$N(\mathcal{H},\varepsilon)$为$\mathcal{H}$的$\varepsilon$-覆盖数，证明对于每一个$c$-近似伪度量损失，$\mathbb{D}_{\mathrm{onl}}(\mathcal{H})\le O(c)\,\Phi(\mathcal{H})$。特别地，多项式度量熵意味着$\Phi(\mathcal{H})<\infty$，从而获得对有效维数的透明依赖下的无限期可实现累积损失界。我们在两个族中演示该方法。我们证明了严格的$q$-vs.-$d$二分法：对于$L$-Lipschitz回归，若$q>d$，则可实现在线学习具有有限且可有效实现的$\Theta_{d,q}(L^d)$总损失；否则为无限；而对于有界范数$k$-ReLU网络，单模回归（有限损失，甚至$\widetilde O(k^2)$，以及$O(1)$用于一个ReLU）与分类（已知$k=2,d=1$即可不可实现）分离。