基于预测感知构建胸片 X 射线世界模型:X-WIN
计算机视觉与模式识别
2026-03-12 v2
摘要
胸片 X 射线 (CXR) 是疾病诊断的essential 医学成像技术。然而,作为二维投影图像,CXR 受 Structural superposition 限制,难以捕获三维解剖结构,这一限制使得表示学习和疾病诊断具有挑战。为解决这一挑战,我们提出一种新的 CXR 世界模型,称为 X-WIN,通过学习其在潜在空间中预测二维投影来从胸部 CT 中提炼体积知识。核心思想是,具有内部化三维解剖结构知识的世界模型能够预测在三维空间中各种变换下的 CXR。在投影预测过程中,我们引入基于亲和力的对比对齐损失,利用互相似性捕获来自同一体积中不同投影之间的丰富且相关的信息。为提高模型的适应性,我们通过掩码图像建模将真实 CXR 纳入训练,并采用域分类器来鼓励真实与模拟 CXR 的表示统计上相似。在全面实验中,X-WIN 在使用线性探测和few-shot 微调的各种下游任务上均优于现有基础模型。X-WIN 还展示了用于重建三维 CT 体积的二维投影渲染能力。
引用
@article{arxiv.2511.14918,
title = {X-WIN: Building Chest Radiograph World Model via Predictive Sensing},
author = {Zefan Yang and Ge Wang and James Hendler and Mannudeep K. Kalra and Pingkun Yan},
journal= {arXiv preprint arXiv:2511.14918},
year = {2026}
}
备注
Accepted by CVPR 2026