学习任务的信息复杂度、其结构及其距离
机器学习
2020-07-15 v2 信息论
math.IT
机器学习
摘要
我们在学习任务空间中引入一种非对称距离，以及一个计算其复杂度的框架。这些概念是迁移学习实践的基础，即先将参数模型针对某一任务进行预训练，然后再针对另一任务进行微调。我们开发的框架是非渐近的，捕捉了训练数据集的有限性，并允许区分学习与记忆。它作为特例涵盖了来自Kolmogorov复杂度、Shannon以及Fisher信息的经典概念。然而，与其中某些框架不同，它可应用于大规模模型和真实世界数据集。我们的框架首次以考虑优化方案影响的方式度量复杂度，而这在中至关重要。
引用
@article{arxiv.1904.03292,
title = {The Information Complexity of Learning Tasks, their Structure and their Distance},
author = {Alessandro Achille and Giovanni Paolini and Glen Mbeng and Stefano Soatto},
journal= {arXiv preprint arXiv:1904.03292},
year = {2020}
}