中文

核模态分解与可编程/可解释回归网络

机器学习 2020-08-07 v2 机器学习 数值分析 数值分析

摘要

模态分解是一个典型的模式识别问题,可从数值逼近、统计推断和深度学习这些(先验上不同的)视角来解决。通过这些组合视角的分析能否用作破译深度学习中起作用机制的罗塞塔石碑?受此问题启发,我们引入了用于模式识别的可编程且可解释的回归网络,并将模态分解作为典型问题来处理。这些网络的可编程性通过组装分解和重组核与数据的基本模块来实现。这些基本步骤在抽象层级上重复,并从最优恢复、博弈论和高斯过程回归(GPR)的等价视角来解释。典型的模态/核分解模块从对和 v:=v1++vmv:=v_1+\cdots+v_m 的观测中,产生公共希尔伯特空间的一个希尔伯特子空间乘积中元素 (v1,v2,,vm)(v_1,v_2,\ldots,v_m) 的最优逼近 (w1,w2,,wm)(w_1,w_2,\cdots,w_m)。典型的模态/核重组模块基于每个恢复模态 wiw_i 与数据 vv 之间的对齐来执行恢复模态 wiw_i 的偏求和。我们通过编程回归网络来逼近(可能含噪)信号 ivi\sum_i v_i 的模态 vi=ai(t)yi(θi(t))v_i= a_i(t)y_i\big(\theta_i(t)\big) 以说明所提框架,其中振幅 aia_i、瞬时相位 θi\theta_i 和周期波形 yiy_i 均可未知,并在瞬时振幅 aia_i 和频率 θ˙i\dot{\theta}_i 的正则性与分离假设下展示了近机器精度的恢复。其中部分网络的结构与卷积神经网络有着有趣的相似性,同时又是可解释、可编程且适于理论分析的。

关键词

引用

@article{arxiv.1907.08592,
  title  = {Kernel Mode Decomposition and programmable/interpretable regression networks},
  author = {Houman Owhadi and Clint Scovel and Gene Ryan Yoo},
  journal= {arXiv preprint arXiv:1907.08592},
  year   = {2020}
}

备注

102 pages, 39 figures. Python source codes available at https://github.com/kernel-enthusiasts/Kernel-Mode-Decomposition-1D