面向医学数据选择的混合变量感知方法：用于微调预训练视觉模型

大规模预训练视觉基础模型的出现极大推动了医学影像领域的发展，凭借预训练和微调范式取得了显著进展。然而，在考虑标注成本、隐私 concerns以及混合变量的负面影响后，为下游微调选择合适的医学数据仍是一个重大挑战。本文提出了一种面向医学数据选择的混合变量感知方法，用于医学数据集精选，旨选取最小且具代表性的数据，通过战略性地缓解混合变量的不良影响，同时保留数据集的自然分布。我们的 approach first identifies confounding variables within data and then develops a distance-based data selection strategy for confounder-aware sampling with a constrained budget in the data size. 我们通过跨越 diverse medical imaging modalities 的大量实验验证了方法的优越性，突显了其在解决混合变量的显著影响方面的有效性，以及在医学影像领域提升微调效率方面的作用，与其他数据选择方法相比表现更佳。