T-Net：用单个高阶张量参数化全卷积网络

近期的研究结果表明，过度参数化虽然对成功训练深度神经网络至关重要，但也引入了大量的冗余。张量方法有望通过利用这种冗余来高效地参数化过完备表示。在本文中，我们提出用单个高阶、低秩张量来完全参数化卷积神经网络（CNN）。先前关于网络张量化的工作仅关注于单独参数化各层（卷积层或全连接层），并逐层分别进行张量化。相比之下，我们提出通过用单个高阶张量联合捕获神经网络的完整结构，其各模态表示网络的每个架构设计参数（例如卷积块数量、深度、堆叠数、输入特征等）。这种参数化能够正则化整个网络并大幅减少参数数量。我们的模型是端到端可训练的，并且施加在权重张量上的低秩结构起到了隐式正则化的作用。我们研究了具有丰富结构的网络，即全卷积网络（FCN），并提出用单个8阶张量对其参数化。我们表明，我们的方法能够以较小的压缩率实现优越性能，并在人体姿态估计这一具有挑战性的任务中以可忽略的精度下降获得高压缩率。