基于马尔可夫链de Finetti定理将保形预测推广至隐马尔可夫模型并保持精确有效性
统计方法学
2023-05-24 v4 机器学习
信号处理
摘要
保形预测是一种在可交换性（例如独立同分布数据）假设下量化分类器不确定性的广泛使用的方法。我们将保形预测推广到隐马尔可夫模型（HMM）框架，其中可交换性假设不成立。所提方法的关键思想是利用Diaconis和Freedman（1980）发现的马尔可夫链de Finetti定理，将来自HMM的不可交换的马尔可夫数据划分为可交换的块。这些可交换块的置换被视为对来自HMM的观测马尔可夫数据的随机化。所提方法可证明地在可交换和马尔可夫两种设定下都保留了经典保形预测框架所提供的所有理想理论保证。特别地，虽然马尔可夫样本引入的不可交换性构成了对经典保形预测关键假设的违背，但所提方法将其视为可进一步利用以提高性能的优势。我们提供了补充理论结论的详细数值与实证结果，以说明所提方法的实际可行性。
引用
@article{arxiv.2210.02271,
title = {Extending Conformal Prediction to Hidden Markov Models with Exact Validity via de Finetti's Theorem for Markov Chains},
author = {Buddhika Nettasinghe and Samrat Chatterjee and Ramakrishna Tipireddy and Mahantesh Halappanavar},
journal= {arXiv preprint arXiv:2210.02271},
year = {2023}
}
备注
Accepted to the International Conference on Machine Learning (ICML), 2023