深度块模块化神经网络中的知识迁移
神经与进化计算
2019-08-22 v1
摘要
尽管深度神经网络（DNNs）在过去十年中展示了令人瞩目的成果，但它们仍然是高度专门化的工具，通常从头开始训练以解决每个特定任务。相比之下，人脑在学习解决新任务时会显著重用现有能力。在当前研究中，我们探索了一种用于 DNNs 的块模块化架构，该架构允许重用现有网络的部分来解决新任务，而不会降低解决原始任务时的性能。我们表明，具有此类架构的网络可以优于从头训练的网络，或表现相当，同时需要学习的权重比从头训练的网络少近 10 倍。
引用
@article{arxiv.1908.08017,
title = {Knowledge transfer in deep block-modular neural networks},
author = {Alexander V. Terekhov and Guglielmo Montone and J. Kevin O'Regan},
journal= {arXiv preprint arXiv:1908.08017},
year = {2019}
}