面向高表达力非黑色素瘤皮肤癌机器学习模型的探索

病理学家拥有丰富的词汇来描述细胞形态的所有细微差别。在他们的世界中，图像与文字存在自然的配对。近期进展表明，机器学习模型现在可以被训练来学习高质量的图像特征，并将其表示为离散的信息单元。这使得同样离散的自然语言能够与影像联合建模，从而生成对影像内容的描述。在此，我们展示了将离散建模技术应用于非黑色素瘤皮肤癌（具体而言是表皮内癌（IEC）的组织学图像）问题领域的实验。通过实现 VQ-GAN 模型来重建 IEC 图像的高分辨率（256x256）图像，我们训练了一个序列到序列 transformer 来使用病理学学术语生成自然语言描述。结合利用连续生成方法可获得的交互式概念向量这一思路，我们展示了可解释性的另一个角度。其结果是朝着高表达力机器学习系统迈进的一种有前景的手段，这类系统不仅可作为预测/分类工具有所裨益，也可作为进一步深化我们对疾病科学理解的途径。