从删失且相关的数据中学习：线性动力学情形

动力学系统的观测常表现出不规则性，例如删失，即仅当数值落在某一范围内时才被记录。由于传感器饱和、检测限效应和图像帧效应，删失在实践中无处不在。鉴于近期关于线性动力学系统（LDSs）学习以及独立数据删失统计的发展，我们重新审视了由删失观测学习LDS这一数十年老问题（Lee and Maddala (1985); Zeger and Brookmeyer (1986)）。此处，学习者观测到状态$x_t \in \mathbb{R}^d$当且仅当$x_t$属于某集合$S_t \subseteq \mathbb{R}^d$。我们开发了首个在计算和统计上均高效的算法来学习该系统，仅假设可访问集合$S_t$的预言机。我们的算法“切换梯度的随机在线牛顿法”是一种新颖的二阶方法，建立在Hazan等人(2007)的在线牛顿步（ONS）之上。我们的切换梯度方案并非总是使用我们希望优化的函数（称为“感知删失”函数）的（随机）梯度。相反，在每次迭代中，它执行一个简单测试以决定使用感知删失函数还是另一个“忽略删失”函数来获取随机梯度。在我们的分析中，我们考虑一种“通用”在线牛顿方法，其使用任意向量代替梯度，并证明其误差界。这可用于适当设计这些向量，从而得到我们的切换梯度方案。该框架明显偏离近期关于删失统计的大量工作（例如Daskalakis et al. (2018); Kontonis et al. (2019); Daskalakis et al. (2019)），后者应用随机梯度下降（SGD），且其分析归结为建立现成SGD界的条件。