Affinity-VAE：在科学图像表示学习中融入先验知识
计算机视觉与模式识别
2025-03-17 v2 机器学习
定量方法
摘要
学习数据的紧凑且可解释的表示是科学图像分析中的关键挑战。在此，我们引入 Affinity-VAE，一种生成模型，使我们能够在训练期间将关于数据集中实例相似性的科学直觉施加于所学表示上。我们在冷冻电子断层成像（cryo-ET）这一科学领域展示了该方法的效用，其中当前一个重大挑战是在含噪且低对比度的断层图像体中识别相似分子。该任务不同于分类，因为在推理时，无法知晓某实例是否属于训练集。我们使用蛋白质结构的先验知识训练 affinity-VAE 以指导潜空间。我们的模型能够在潜表示中创建旋转不变、形态同质的簇，与其他方法相比具有更好的簇分离度。它在蛋白质分类上取得了有竞争力的性能，并额外具有解耦物体姿态、结构相似性与可解释潜表示的好处。在 cryo-ET 数据背景下，affinity-VAE 捕获了所识别蛋白质的 3D 取向，可作为后续科学实验的先验。在科学成像中，从训练好的网络中提取物理原理具有重要意义，因为真实标注训练集并非总可行。
引用
@article{arxiv.2209.04517,
title = {Affinity-VAE: incorporating prior knowledge in representation learning from scientific images},
author = {Marjan Famili and Jola Mirecka and Camila Rangel Smith and Anna Kotańska and Nikolai Juraschko and Beatriz Costa-Gomes and Colin M. Palmer and Jeyan Thiyagalingam and Tom Burnley and Mark Basham and Alan R. Lowe},
journal= {arXiv preprint arXiv:2209.04517},
year = {2025}
}