超越独热编码：低维目标嵌入
计算机视觉与模式识别
2018-06-29 v1 人工智能
摘要
目标编码在学习卷积神经网络时起着核心作用。在此领域中，独热编码因其简单性而成为最普遍的策略。然而，这种广泛使用的编码方案假设了一个扁平的标签空间，从而忽略了标签之间存在的、可在训练中被利用的丰富关系。在大规模数据集中，数据并不跨越完整的标签空间，而是位于一个低维输出流形上。基于这一观察，我们将目标嵌入到低维空间中，在保持精度的同时极大地提高了收敛速度。我们的贡献有两点：(i) 我们表明标签空间的随机投影是寻找此类低维嵌入的有效工具，能以零计算成本显著提升收敛速率；以及 (ii) 我们提出了类流形的归一化特征表示，以最小信息损失对目标进行编码，在享有相同收敛速率的同时提高了随机投影编码的精度。在 CIFAR-100、CUB200-2011、Imagenet 和 MIT Places 上的实验表明，所提方法在达到极具竞争力的准确率的同时极大地提升了收敛速度。
引用
@article{arxiv.1806.10805,
title = {Beyond One-hot Encoding: lower dimensional target embedding},
author = {Pau Rodríguez and Miguel A. Bautista and Jordi Gonzàlez and Sergio Escalera},
journal= {arXiv preprint arXiv:1806.10805},
year = {2018}
}
备注
Published at Image and Vision Computing