通过学习时间变换实现可解释的 3D 卷积神经网络
计算机视觉与模式识别
2020-06-30 v1 人工智能
机器学习
摘要
本文引入时间因子化 3D 卷积（3TConv）作为常规 3D 卷积（3DConv）的可解释替代方案。在 3TConv 中，3D 卷积滤波器通过学习一个 2D 滤波器与一组时间变换参数得到，从而产生一个稀疏滤波器，其中 2D 切片在时间维度上依次相互依赖。我们证明 3TConv 学习到的时间变换可直接解释。时间参数可与各种现有 2D 可视化方法结合使用。我们还表明，通过分析层与模型级别上的变换参数统计可获得关于模型所学内容的洞察。最后，我们隐式地证明，在流行的 ConvNets 中，2DConv 可被 3TConv 替代且权重可迁移以得到预训练的 3TConv。预训练的 3TConvnets 通过能够利用已在图像分类基准上被证明有优异结果的特征，从而借力于传统 2DConvNets 十余年的工作。
引用
@article{arxiv.2006.15983,
title = {Explainable 3D Convolutional Neural Networks by Learning Temporal Transformations},
author = {Gabriëlle Ras and Luca Ambrogioni and Pim Haselager and Marcel A. J. van Gerven and Umut Güçlü},
journal= {arXiv preprint arXiv:2006.15983},
year = {2020}
}
备注
10 pages, 5 figures, 4 tables