深度子模函数

我们首先概述一类称为SCMMs（非负模函数复合凹函数之和加上一个任意模函数）的子模函数。然后我们定义一类新的子模函数，称之为深度子模函数（DSFs）。我们表明DSFs是一个灵活的子模函数参数族，具有深度神经网络（DNNs）的许多性质和优势。DSFs的动机在于考虑基础元素上的描述性概念层次结构，并希望允许整个层次结构中的子模交互。本文结果表明DSFs构成了比SCMMs严格更大的子模函数类。我们表明，对于任意整数$k>0$，存在$k$层DSFs不能被任意$k'<k$层DSF表示。这意味着，像DNNs一样，深度具有效用，但与DNNs不同，DSF族随深度严格增大。尽管如此，我们表明（使用类似“反向传播”的方法）DSFs即使具有任意大的$k$，也不包含所有子模函数。在给出上述结果时，我们还定义了凹函数的反调超微分的概念，并展示它如何与子模函数（一般）、DSFs（特别是）、负二阶偏导数、连续子模性和凹扩展相关联。为了进一步启发我们的分析，我们提供了拟阵理论的各种特例结果，将DSFs与拟阵秩的形式进行比较，特别是分层拟阵。最后，我们讨论了学习DSFs的策略，并定义了深度超模函数、深度子模函数之差和深度多元子模函数的类，并讨论它们在应用中的用处。