基于影像与自由文本放射报告的跨监督通用 X 光表征学习
图像与视频处理
2022-01-28 v2 计算机视觉与模式识别
机器学习
摘要
预训练为近期深度学习支持的 X 光分析成功奠定了基础。它通过在源域上进行大规模全监督或自监督学习来学习可迁移的图像表征。然而，监督式预训练需要复杂且劳动密集的两阶段人工辅助标注过程，而自监督学习无法与监督范式竞争。为解决这些问题，我们提出了一种称为 REFERS（Reviewing Free-text Reports for Supervision，利用自由文本报告获取监督信号）的跨监督方法，其从伴随 X 光的原始放射报告中获取自由监督信号。所提方法采用视觉 transformer，旨在从每位患者检查中的多视图学习联合表征。在极低监督下，REFERS 在 4 个知名 X 射线数据集上优于其迁移学习与自监督学习对应方法。此外，REFERS 甚至超越了基于带人工辅助结构化标签的 X 光源域的方法。因此 REFERS 有潜力替代典型的预训练方法。
引用
@article{arxiv.2111.03452,
title = {Generalized Radiograph Representation Learning via Cross-supervision between Images and Free-text Radiology Reports},
author = {Hong-Yu Zhou and Xiaoyu Chen and Yinghao Zhang and Ruibang Luo and Liansheng Wang and Yizhou Yu},
journal= {arXiv preprint arXiv:2111.03452},
year = {2022}
}
备注
Accepted by Nature Machine Intelligence. The official version is at https://www.nature.com/articles/s42256-021-00425-9. Codes are available at https://github.com/funnyzhou/REFERS