用于图像分离的多模态字典学习及其在艺术研究中的应用
计算机视觉与模式识别
2016-11-15 v1
摘要
为支持艺术研究，我们提出一种新的源分离方法，用于解混从双面绘画获取的单一X射线扫描图像。该问题中，待分离的X射线信号具有相似的形态学特征，这使以往的源分离方法达到极限。我们的解决方案是利用从画板正面和背面拍摄的照片来驱动分离过程。我们方法的关键在于使用一种新颖的耦合字典学习框架，通过稀疏表示来捕捉跨模态的共同与差异特征，从而耦合两种成像模态（照片与X射线）；共同分量对多模态图像共享的特征建模，而创新分量捕捉模态特定信息。因此，我们的模型能够构建适当正则化的凸优化过程，从而精确分离X射线。我们的字典学习框架既可定制为单尺度也可定制为多尺度框架，后者带来显著的性能提升。此外，为了进一步改善分离图像的视觉质量，我们提出训练忽略绘画中对应龟裂（craquelure）某些部分的耦合字典。在合成与真实数据（取自根特祭坛画（1432）的数字采集）上的实验证实了我们的方法相对于最先进的形态学成分分析技术的优越性，后者使用固定或训练的字典来执行图像分离。
引用
@article{arxiv.1607.04147,
title = {Multi-modal dictionary learning for image separation with application in art investigation},
author = {Nikos Deligiannis and Joao F. C. Mota and Bruno Cornelis and Miguel R. D. Rodrigues and Ingrid Daubechies},
journal= {arXiv preprint arXiv:1607.04147},
year = {2016}
}
备注
submitted to IEEE Transactions on Images Processing