基于视觉转换器和多实例学习的弱监督牙痕舌诊断
计算机视觉与模式识别
2024-08-30 v1
摘要
舌诊断是中医学中的重要诊断方法，可反映个体的健康状况。传统方法识别牙痕舌主观且一致性差，因依赖医师经验。我们提出一种新型完全自动化的弱监督方法，采用视觉转换器（Vision Transformer）和多实例学习（Multiple instance learning）构建 WSVM 用于舌头提取与牙痕舌识别。我们的 approach 首先准确检测并提取临床图像中的舌部区域，去除无关背景。随后，我们实现一种端到端的弱监督目标检测方法。利用 Vision Transformer (ViT) 对舌图像进行补丁处理，并采用多实例损失仅凭图像级标注识别牙痕区域。WSVM 在牙痕舌分类中取得高准确率，可视化实验表明其在定位这些区域方面效果显著。这种自动化方法提高了牙痕舌诊断的客观性和准确性，为中医师在制定精确诊断和治疗建议方面提供了重要临床价值。代码已公开于 https://github.com/yc-zh/WSVM
引用
@article{arxiv.2408.16451,
title = {Weakly Supervised Object Detection for Automatic Tooth-marked Tongue Recognition},
author = {Yongcun Zhang and Jiajun Xu and Yina He and Shaozi Li and Zhiming Luo and Huangwei Lei},
journal= {arXiv preprint arXiv:2408.16451},
year = {2024}
}