扩散模型驱动的测试时图像适应用于皮肤皮肤病变分类的鲁棒性
图像与视频处理
2024-05-21 v1 计算机视觉与模式识别
摘要
基于深度学习的诊断系统在皮肤病病诊中展现出潜力。然而，这些系统在因输入级损坏（如成像设备差异、亮度变化和图像模糊）导致的分布迁移测试域中的性能容易下降。这会降低模型在现实场景中部署的可靠性。大多数现有解决方案专注于通过在不同目标域上重新训练来适应源模型。虽然有效，但这种重新训练过程对数据量和优化超参数配置敏感。本文提出一种测试时图像适应方法，通过同时更新和预测测试图像来提高模型在测试数据上的准确性。我们通过扩散模型将目标测试图像投影回源域。具体而言，我们设计了结构引导模块，在逆采样过程中通过低通滤波添加细化操作，正则化扩散以保留结构信息。此外，我们引入自集成方案自动调整对适应和未适应输入的依赖，通过拒绝不合适的生成建模结果来增强适应鲁棒性。为支持本研究，我们构建了ISIC2019-C和Dermnet-C损坏鲁棒性评估基准。广泛的实验表明，我们的方法在各种损坏、架构和数据 regime 下都使分类器更加鲁棒。我们的数据集和代码将在\url{https://github.com/minghu0830/Skin-TTA_Diffusion}上提供。
引用
@article{arxiv.2405.11289,
title = {Diffusion Model Driven Test-Time Image Adaptation for Robust Skin Lesion Classification},
author = {Ming Hu and Siyuan Yan and Peng Xia and Feilong Tang and Wenxue Li and Peibo Duan and Lin Zhang and Zongyuan Ge},
journal= {arXiv preprint arXiv:2405.11289},
year = {2024}
}