利用多模态扩散模型加速带辅助信息的成像
计算机视觉与模式识别
2024-10-08 v1
摘要
扩散模型作为解决逆问题的表达性先验已取得巨大成功，但其从自然图像向更具结构性的科学领域的扩展仍然有限。受材料科学应用的启发，我们的目标是通过利用来自辅助模态的辅助信息（该模态获取成本低得多），来减少来自昂贵成像模态所需的测量次数。为了处理前向模型的不可微和黑箱特性，我们提出一个框架，用于在联合模态上训练多模态扩散模型，从而将具有黑箱前向模型的逆问题转化为简单的线性修补问题。数值上，我们证明了在材料图像数据上训练扩散模型的可行性，并表明我们的方法通过利用可用的辅助信息实现了优越的图像重建，同时显著减少了对昂贵显微模态数据的需求。
引用
@article{arxiv.2410.05143,
title = {Leveraging Multimodal Diffusion Models to Accelerate Imaging with Side Information},
author = {Timofey Efimov and Harry Dong and Megna Shah and Jeff Simmons and Sean Donegan and Yuejie Chi},
journal= {arXiv preprint arXiv:2410.05143},
year = {2024}
}