关于 Gibbs 算法的验证：训练数据集、测试数据集及其聚合
机器学习
2023-06-22 v1 信息论
math.IT
概率论
统计理论
统计理论
摘要
本文解析刻画了 Gibbs 算法（GA）对训练数据的依赖性。采用期望经验风险作为性能指标，以闭式得到了 GA 的敏感度。此处敏感度是相对于任意替代算法的性能差异。该描述为建立涉及以不同数据集训练的 GA 的训练误差与测试误差的显式表达式提供了可能。利用这些工具，我们研究了数据集聚合，并引入了用于评估 GA 泛化能力的不同度量指标。对于此类数据集的特定规模与 GA 的特定参数，建立了 Jeffrey 散度、训练误差与测试误差之间的联系。
引用
@article{arxiv.2306.12380,
title = {On the Validation of Gibbs Algorithms: Training Datasets, Test Datasets and their Aggregation},
author = {Samir M. Perlaza and Iñaki Esnaola and Gaetan Bisson and H. Vincent Poor},
journal= {arXiv preprint arXiv:2306.12380},
year = {2023}
}
备注
In Proc. IEEE International Symposium on Information Theory (ISIT), Taipei, Taiwan, Jun., 2023. arXiv admin note: text overlap with arXiv:2211.06617