一种用于表示学习的自由能原理
机器学习
2020-03-02 v1 机器学习
摘要
本文利用机器学习与热力学之间的形式化联系来刻画迁移学习中习得表示的质量。我们讨论了模型的信息论泛函（如率、失真与分类损失）如何位于一个凸的、所谓平衡曲面上。我们给出了在该曲面下受约束遍历的动力学过程，例如一个在保持分类损失不变的前提下权衡率与失真的等分类过程。我们展示了该过程如何用于将表示从源数据集迁移到目标数据集同时保持分类损失恒定。理论结果的实验验证在标准图像分类数据集上给出。
引用
@article{arxiv.2002.12406,
title = {A Free-Energy Principle for Representation Learning},
author = {Yansong Gao and Pratik Chaudhari},
journal= {arXiv preprint arXiv:2002.12406},
year = {2020}
}
备注
21 pages, 14 figures