跨医学图像与报告的无监督多模态表示学习
机器学习
2018-11-28 v1 计算与语言
摘要
医学影像模态与相应放射学报告之间的联合嵌入有潜力为临床界提供显著益处，从跨域检索到报告的条件生成，再到多模态表示学习的更广义目标。本工作中，我们在即将发布的 MIMIC-CXR 数据集（包含胸部 X 光图像与相应放射学报告）上，通过局部与全局检索方法建立了基线联合嵌入结果。我们考察了该任务上的监督与无监督方法，并表明对于使用所学表示的文档检索任务，仅需有限量的监督即可取得与全监督方法相当的结果。
引用
@article{arxiv.1811.08615,
title = {Unsupervised Multimodal Representation Learning across Medical Images and Reports},
author = {Tzu-Ming Harry Hsu and Wei-Hung Weng and Willie Boag and Matthew McDermott and Peter Szolovits},
journal= {arXiv preprint arXiv:1811.08615},
year = {2018}
}
备注
Machine Learning for Health (ML4H) Workshop at NeurIPS 2018 arXiv:1811.07216