关于元学习中 Gibbs 算法泛化误差的研究
机器学习
2023-04-28 v1 信息论
math.IT
摘要
我们通过 Gibbs 算法分析联合训练元学习算法的泛化能力。我们对元 Gibbs 算法的期望元泛化误差进行了精确刻画，该刻画基于对称化 KL 信息（symmetrized KL information），其度量了所有元训练数据集与输出参数（包括任务特定参数和元参数）之间的依赖性。此外，基于 Steinke 和 Zakynthinou（2020）以及 Hellstrom 和 Durisi（2022）分别引入的超样本（super-sample）和超任务（super-task）框架，我们推导了超任务 Gibbs 算法的元泛化误差的精确刻画，以条件对称化 KL 信息表示。我们的结果还使我们能够为这些适用于元学习的 Gibbs 算法提供新的无分布泛化误差上界。
引用
@article{arxiv.2304.14332,
title = {On the Generalization Error of Meta Learning for the Gibbs Algorithm},
author = {Yuheng Bu and Harsha Vardhan Tetali and Gholamali Aminian and Miguel Rodrigues and Gregory Wornell},
journal= {arXiv preprint arXiv:2304.14332},
year = {2023}
}
备注
Accepted at ISIT 2023