深度预测编码网络中的分类与重建过程：对手还是盟友？
机器学习
2024-01-18 v1
摘要
受预测编码启发的视觉计算深度网络在共享中间层中集成了分类和重建过程。尽管通常假设这些过程之间存在协同作用，但尚未得到令人信服的证明。在本研究中，我们批判性地审视了分类与重建在深度学习架构中的交互方式。我们的方法利用了一组特意设计的、类似于自编码器的模型架构，每个架构都配备编码器、解码器和具有不同模块与复杂度的分类头。我们细致分析了分类驱动和重建驱动的信息在模型架构的共享潜在层中能否无缝共存。我们的发现突显了一个重大挑战：分类驱动的信息会削弱中间层共享表示中的重建驱动信息，反之亦然。虽然扩展共享表示的维度或增加网络的复杂性可以缓解这种权衡效应，但我们的结果挑战了预测编码中的普遍假设，并为未来深度网络中预测编码概念的迭代提供了指导。
引用
@article{arxiv.2401.09237,
title = {Classification and Reconstruction Processes in Deep Predictive Coding Networks: Antagonists or Allies?},
author = {Jan Rathjens and Laurenz Wiskott},
journal= {arXiv preprint arXiv:2401.09237},
year = {2024}
}