用于监督表示学习的离散Infomax码
机器学习
2020-02-25 v2 计算机视觉与模式识别
机器学习
摘要
学习数据的紧凑离散表示本身是一项关键任务，或可用于促进后续数据处理。本文提出一种生成离散Infomax码(DIMCO)的模型；我们学习一个概率编码器，其为输入数据关联路维码。我们模型的学习目标是最大化码与标签之间的互信息并带正则化，该正则化强制一个码字的各分量尽可能独立。我们证明infomax原理也将先前的损失函数(如交叉熵)作为其特例而合理化。我们的分析还表明，如DIMCO所做的那样使用更短码，可在少样本分类背景下减少过拟合。通过在多个领域的实验，我们观察到DIMCO的这种隐式元正则化效应。此外，我们证明与先前方法相比，DIMCO学到的码在内存与检索时间上均更高效。
引用
@article{arxiv.1905.11656,
title = {Discrete Infomax Codes for Supervised Representation Learning},
author = {Yoonho Lee and Wonjae Kim and Wonpyo Park and Seungjin Choi},
journal= {arXiv preprint arXiv:1905.11656},
year = {2020}
}
备注
19 pages