基于语义与视觉相似性的 CNN 训练高效知识迁移
计算机视觉与模式识别
2019-10-01 v1 机器学习
多媒体
摘要
近年来，表示学习方法颠覆了许多多媒体计算任务。在这些方法中，深度卷积神经网络（CNN）在一些受限的图像分类任务上已显著达到人类水平的专业能力。然而，为新任务或仅仅是新数据从头训练 CNN 被证明是复杂且耗时的。最近，迁移学习作为一种有效的方法论出现，用于通过将最后分类层重新训练来使预训练 CNN 适应新数据和类别。本文致力于改进这一过程，以便在图像分类微调的情况下，更好地在 CNN 架构之间迁移知识以实现更快的训练。这是通过基于源类与目标类之间的相似性考量，结合并迁移补充权重来实现的。该研究包括语义相似性与基于内容的相似性之间的比较，并突出了在可用训练样本有限时初始性能与训练速度的提升，以及更优的长期性能。
引用
@article{arxiv.1909.12916,
title = {Semantic and Visual Similarities for Efficient Knowledge Transfer in CNN Training},
author = {Lucas Pascal and Xavier Bost and Benoît Huet},
journal= {arXiv preprint arXiv:1909.12916},
year = {2019}
}