仙境中的贝叶斯！预测式监督分类推断遭遇不可预测性
机器学习
2021-12-06 v1 机器学习
摘要
边际贝叶斯预测分类器（mBpc）与同时贝叶斯预测分类器（sBpc）不同，其分别处理每个数据，因而默认假设观测之间相互独立。然而，由于生成模型参数学习中的饱和现象，这一错误假设对 mBpc 准确性的不利影响随着训练数据量的增加而趋于消失；从而在 de Finetti 型可交换性下保证了这两类分类器的收敛。然而，对于在划分可交换性（PE）下生成的序列，该结果远非平凡，因为即便有海量训练数据，也无法排除出现未观测结果（仙境！）的可能性。我们提供了一种计算方案，可在 PE 下生成序列。基于此，在受控增加训练数据的情况下，我们展示了 sBpc 与 mBpc 的收敛。这支持了使用更简单但计算效率更高的边际分类器而非同时分类器。我们还给出了产生划分可交换序列的生成模型的参数估计，以及用于检验该参数在不同样本间是否相等的检验范式。用于 Ewens 抽样公式生成模型的贝叶斯预测监督分类、参数估计与假设检验的软件包已作为 PEkit 包 deposited 于 CRAN，并可从 https://github.com/AmiryousefiLab/PEkit 免费获取。
引用
@article{arxiv.2112.01880,
title = {Bayes in Wonderland! Predictive supervised classification inference hits unpredictability},
author = {Ali Amiryousefi and Ville Kinnula and Jing Tang},
journal= {arXiv preprint arXiv:2112.01880},
year = {2021}
}
备注
arXiv admin note: text overlap with arXiv:2101.10950