深度集体学习：在深度神经网络中联合学习最优输入与权重
机器学习
2020-09-18 v1 计算机视觉与模式识别
机器学习
摘要
人们广泛观察到，在深度学习与计算机视觉文献中，当视觉数据被输入到端到端深度神经网络（DNN）以执行任何学习任务时，它们总是以人工设计的编码方案表示（例如，RGB图像的每个通道被表示为0到255之间的整数）。我们大胆质疑人工设计的输入是否有利于DNN在不同任务中的训练，并研究DNN的输入是否可以与DNN的权重一起进行端到端的最优学习。在本文中，我们提出了深度集体学习（deep collective learning）范式，旨在针对给定任务同时学习DNN的权重与DNN的输入。我们注意到，集体学习在自然语言处理中已被隐式且广泛地使用，而在计算机视觉中却几乎从未被研究过。因此，我们提出查找视觉网络（Lookup-VNets）作为计算机视觉中深度集体学习的解决方案。这是通过将每个通道中的每种颜色与查找表中的一个向量相关联来实现的。由于在计算机视觉中学习输入在现有文献中几乎从未被研究过，我们通过在图像分类任务上的各种实验探索了该问题的几个方面。在四个基准数据集，即CIFAR-10、CIFAR-100、Tiny ImageNet和ImageNet（ILSVRC2012）上的实验结果显示了Lookup-VNets的几个令人惊讶的特性，并展示了Lookup-VNets与深度集体学习的优势与前景。
引用
@article{arxiv.2009.07988,
title = {Deep Collective Learning: Learning Optimal Inputs and Weights Jointly in Deep Neural Networks},
author = {Xiang Deng and Zhongfei and Zhang},
journal= {arXiv preprint arXiv:2009.07988},
year = {2020}
}