EPVT：面向皮肤病变识别中域泛化的环境感知提示视觉Transformer
计算机视觉与模式识别
2023-06-28 v3 人工智能
机器学习
摘要
基于深度学习的皮肤病变识别已取得显著进展，将这些系统部署于真实场景的需求日益增长。然而，近期研究揭示，用于皮肤病变识别的深度神经网络可能过度依赖与疾病无关的图像伪影（即暗角、浓密毛发），导致在未见环境中的泛化性能不佳。为解决此问题，我们提出一种名为EPVT的新型域泛化方法，其通过将提示嵌入视觉Transformer中，以从多样域协同学习知识。具体而言，EPVT利用一组域提示，每个提示充当域专家以捕获特定域知识；以及用于整个数据集通用知识的共享提示。为促进知识共享与不同提示的交互，我们引入域提示生成器，实现域提示与共享提示之间的低秩乘性更新。此外，设计了一种域混合策略以减少各域中共同出现的伪影，从而允许更灵活的决策边界并缓解域标签分配错误的问题。在四个分布外数据集和六个不同的有偏ISIC数据集上的实验证明了EPVT在多种环境下皮肤病变识别中的优越泛化能力。代码见 https://github.com/SiyuanYan1/EPVT。
引用
@article{arxiv.2304.01508,
title = {EPVT: Environment-aware Prompt Vision Transformer for Domain Generalization in Skin Lesion Recognition},
author = {Siyuan Yan and Chi Liu and Zhen Yu and Lie Ju and Dwarikanath Mahapatrainst and Victoria Mar and Monika Janda and Peter Soyer and Zongyuan Ge},
journal= {arXiv preprint arXiv:2304.01508},
year = {2023}
}
备注
Accepted by MICCAI 2023