用于多输入图像生成建模的集成变分自编码器
图像与视频处理
2025-09-15 v2 计算机视觉与模式识别
神经与进化计算
应用统计
机器学习
摘要
理解多模态成像之间的关系是神经影像学研究的核心。我们引入了集成变分自编码器（InVA），这是第一个用于多模态神经影像中图像对图像回归的分层变分自编码器框架。与标准变分自编码器不同，标准变分自编码器并非为跨模态的预测性集成而设计，InVA将结果图像建模为共享特征和模态特定特征的函数。这种灵活的数据驱动方法避免了经典张量回归的刚性假设，并且优于传统变分自编码器和BART等非线性模型。作为一个关键应用，InVA从结构MRI准确预测昂贵的PET扫描，为多模态神经影像提供了一种高效且强大的工具。
引用
@article{arxiv.2402.02734,
title = {Integrative Variational Autoencoders for Generative Modeling of an Image Outcome with Multiple Input Images},
author = {Bowen Lei and Yeseul Jeon and Rajarshi Guhaniyogi and Aaron Scheffler and Bani Mallick and Alzheimer's Disease Neuroimaging Initiatives},
journal= {arXiv preprint arXiv:2402.02734},
year = {2025}
}