结构化预测中隐式损失嵌入的 PAC-Bayes 视角
机器学习
2020-12-22 v2 统计理论
机器学习
统计理论
摘要
许多实际的机器学习任务可归结为结构化预测问题，其中需预测多个输出变量并视其为相互依赖。近期结构化预测的理论进展集中于获得快速收敛速率保证，尤其是在隐式损失嵌入（Implicit Loss Embedding, ILE）框架下。PAC-Bayes 因其能为预测器分布给出紧的风险界而近来受到关注。本文针对 ILE 结构化预测框架提出了一种新颖的 PAC-Bayes 视角。我们给出了关于风险和超额风险的两个泛化界，从而揭示 ILE 预测器的行为特性。基于这些界导出了两种学习算法。我们对算法进行了实现并分析其行为，源代码见 \url{https://github.com/theophilec/PAC-Bayes-ILE-Structured-Prediction}。
引用
@article{arxiv.2012.03780,
title = {A PAC-Bayesian Perspective on Structured Prediction with Implicit Loss Embeddings},
author = {Théophile Cantelobre and Benjamin Guedj and María Pérez-Ortiz and John Shawe-Taylor},
journal= {arXiv preprint arXiv:2012.03780},
year = {2020}
}
备注
38 pages