基于马尔可夫数据的多类判别中的分类误差

作为在线分类设置的模型，我们考虑随机过程 $(X_{-n},Y_{-n})_{n}$，当前时间点记为0，具有观测值 $\ldots,X_{-n},X_{-n+1},\ldots, X_{-1}, X_0$，需从中推断模式 $Y_0$。因此在该分类设置中，除当前观测 $X_0$ 外，还可使用 $l$ 个先前观测进行分类，从而考虑可能的依赖结构，例如在手写字符的持续分类中出现的情况。我们探讨使用此类附加信息如何在多大程度上改善分类器性能的问题。分析中使用了隐马尔可夫模型。令 $R_l$ 表示使用 $l$ 个先前观测的最小误分类风险，我们证明差值 $\sup_k |R_l - R_{l+k}|$ 随 $l$ 增大而指数快速衰减。这表明较小的 $l$ 可能已能带来显著改进。为跟进此点，我们考察过去观测在核分类规则中的使用。我们在模拟隐马尔可夫模型及手写字符分类中的实际发现表明，使用 $l=1$（即除 $X_0$ 外仅最后一个先前观测）能大幅降低误分类风险。因此，在存在随机依赖的情况下，我们主张使用 $X_{-1},X_0$ 来寻找模式 $Y_0$，而非像独立情况下那样仅用 $X_0$。