基于选择性打乱位置嵌入与关键块交换策略的 Transformer 用于膝骨关节炎早期检测
图像与视频处理
2024-08-06 v2 计算机视觉与模式识别
摘要
膝骨关节炎（KOA）是一种广泛的肌肉骨骼疾病，会严重影响老年人的活动能力。由于数据标注成本高，医疗数据不足对有效训练模型构成了重大障碍。当前，基于深度学习的模型广泛利用数据增强技术来提升泛化能力并缓解过拟合。然而，传统数据增强技术主要基于原始数据，无法为数据集引入实质性多样性。在本文中，我们提出一种基于 Vision Transformer (ViT) 模型的新方法，采用原创的选择性打乱位置嵌入（SSPE）与关键块交换策略，以获得不同输入序列作为 KOA 早期检测（KL-0 与 KL-2）的数据增强方法。更具体地，我们分别固定并打乱关键块与非关键块的位置嵌入。然后，对于目标图像，我们从训练集中随机选取其他候选图像交换其关键块，从而得到不同的输入序列。最后，通过结合针对不同类型序列的多个损失函数，构建了混合损失函数。根据实验结果，所生成的数据被认为是有效的，因其显著提升了模型的分类性能。
引用
@article{arxiv.2304.08364,
title = {Transformer with Selective Shuffled Position Embedding and Key-Patch Exchange Strategy for Early Detection of Knee Osteoarthritis},
author = {Zhe Wang and Aladine Chetouani and Mohamed Jarraya and Didier Hans and Rachid Jennane},
journal= {arXiv preprint arXiv:2304.08364},
year = {2024}
}