可微分解耦滤波器：一种应用无关的核心概念发现探针
计算与语言
2019-07-25 v2
摘要
长期以来人们推测，深度神经网络通过发现一组层次化的领域特定核心概念或模式来运作，这些概念或模式被进一步组合以识别更复杂的概念，用于分类或其他机器学习任务。同时，解耦嵌入在词嵌入（如word2vec或BERT）或深度卷积图像识别神经网络（如PG-GAN）中的实际核心概念是困难的，且直到最近才取得一些成功。在本文中，我们提出了一种名为可微分解耦滤波器（DDF）的新型神经网络非线性单元，它可透明地插入任何现有神经网络层中以自动解耦该层所使用的核心概念。DDF探针的灵感来自于超维计算理论中一些晦涩的性质。DDF的概念验证实现被展示为可在神经3D场景表示中解耦概念——这是自然语言叙述视觉接地的一项关键任务。
引用
@article{arxiv.1907.07507,
title = {Differentiable Disentanglement Filter: an Application Agnostic Core Concept Discovery Probe},
author = {Guntis Barzdins and Eduards Sidorovics},
journal= {arXiv preprint arXiv:1907.07507},
year = {2019}
}