面向不规则采样信号与图像的基于能量的端到端表示学习
计算机视觉与模式识别
2019-10-02 v1 图像与视频处理
摘要
对于众多领域，例如地球观测、医学成像、天体物理等，可用的图像和信号数据集通常涉及不规则的时空采样模式以及很高的缺失数据率。这些采样特性对于应用最先进的基于学习的方法（例如自编码器、CNN等）、充分利用可用的大规模观测以及在感兴趣过程的重建与识别方面取得突破可能是关键性的。在本文中，我们解决从不规则采样数据（即训练数据包含缺失数据）中端到端学习信号、图像和图像序列表示的问题。从与贝叶斯表述的类比出发，我们考虑基于能量的表示。研究了两种能量形式：一种源自自编码器，另一种与吉布斯先验相关。这些基于能量的表示（或先验）的学习阶段涉及一个联合插值问题，这等同于在观测约束下求解能量最小化问题。利用所考虑能量形式的基于神经网络的实现，我们可以给出一种从不规则采样数据中进行端到端学习的方案。我们针对不同的案例研究证明了所提表示的相关性：即多变量时间序列、2D图像和图像序列。
引用
@article{arxiv.1910.00556,
title = {End-to-end learning of energy-based representations for irregularly-sampled signals and images},
author = {Ronan Fablet and Lucas Drumetz and François Rousseau},
journal= {arXiv preprint arXiv:1910.00556},
year = {2019}
}