将 kNN 与基础模型集成以实现可适应且隐私感知的图像分类
计算机视觉与模式识别
2024-02-21 v1 机器学习
图像与视频处理
摘要
传统深度学习模型隐式地编码知识，限制了其透明度和适应数据变化的能力。然而，这种适应性对于解决用户数据隐私问题至关重要。我们通过独立于模型权重存储底层训练数据的嵌入来解决这一限制，从而无需重新训练即可动态修改数据。具体而言，我们的方法将 -最近邻 (-NN) 分类器与基于视觉的基础模型集成，该基础模型在自然图像上经过自监督预训练，增强了可解释性和适应性。我们分享了先前未发表的基线方法的开源实现以及我们提升性能的贡献。定量实验证实了在既定基准数据集上分类性能的提升，以及该方法在不同医学图像分类任务中的适用性。此外，我们评估了该方法在持续学习和数据移除场景中的鲁棒性。该方法在弥合基础模型性能与数据隐私相关挑战之间的差距方面展现出巨大前景。源代码可在 https://github.com/TobArc/privacy-aware-image-classification-with-kNN 获取。
引用
@article{arxiv.2402.12500,
title = {Integrating kNN with Foundation Models for Adaptable and Privacy-Aware Image Classification},
author = {Sebastian Doerrich and Tobias Archut and Francesco Di Salvo and Christian Ledig},
journal= {arXiv preprint arXiv:2402.12500},
year = {2024}
}
备注
Accepted at 21st IEEE International Symposium on Biomedical Imaging (IEEE ISBI 2024)