佩戴 MASK：利用循环神经正切核的可变长度序列压缩表示
信号处理
2021-04-20 v2 机器学习
摘要
高维性给数据的使用带来了诸多挑战，从可视化和解释，到预测和历史保存的存储。减少定长序列维度的技术比比皆是，但这些方法很少推广到可变长度序列。为弥补这一缺口，我们通过使用循环神经正切核（RNTK）将现有依赖核的方法扩展到可变长度序列。由于具有 ReLu 激活的深度神经网络是最大仿射样条算子（MASO），我们将我们的方法称为最大仿射样条核（MASK）。我们展示了 MASK 如何用于扩展主成分分析（PCA）和 t 分布随机邻域嵌入（t-SNE），并将这些新算法应用于分离从二阶微分方程采样的合成时间序列数据。
引用
@article{arxiv.2010.13975,
title = {Wearing a MASK: Compressed Representations of Variable-Length Sequences Using Recurrent Neural Tangent Kernels},
author = {Sina Alemohammad and Hossein Babaei and Randall Balestriero and Matt Y. Cheung and Ahmed Imtiaz Humayun and Daniel LeJeune and Naiming Liu and Lorenzo Luzi and Jasper Tan and Zichao Wang and Richard G. Baraniuk},
journal= {arXiv preprint arXiv:2010.13975},
year = {2021}
}