Sumotosima：用于耳镜图像分类与摘要生成的框架与数据集
计算机视觉与模式识别
2024-08-14 v1 计算与语言
摘要
耳镜检查是一种使用耳镜检查耳道和鼓膜的诊断程序。它可识别感染、异物、鼓膜穿孔和耳部异常等状况。我们提出了一种新颖的资源高效、基于深度学习和Transformer的框架Sumotosima（耳镜图像摘要生成器），这是一个分类后接摘要生成的端到端流水线。我们的框架基于三元组损失与交叉熵损失的组合。此外，我们使用了知识增强多模态BART，其输入融合了文本嵌入与图像嵌入。目标是提供适合患者阅读的摘要，确保对耳镜图像的理解清晰高效。鉴于现有数据集的匮乏，我们自行整理了一个OCASD（耳镜分类与摘要数据集），包含500张图像，涵盖5个独特类别，并由耳鼻喉科医生标注了类别和摘要。Sumotosima在分类任务中取得了98.03%的结果，分别比K近邻、随机森林和支持向量机高7.00%、3.10%、3.01%。在摘要生成方面，Sumotosima在ROUGE分数上分别超越GPT-4o和LLaVA 88.53%和107.57%。我们的代码和数据集已公开发布于https://github.com/anas2908/Sumotosima
引用
@article{arxiv.2408.06755,
title = {Sumotosima: A Framework and Dataset for Classifying and Summarizing Otoscopic Images},
author = {Eram Anwarul Khan and Anas Anwarul Haq Khan},
journal= {arXiv preprint arXiv:2408.06755},
year = {2024}
}
备注
Work in Progress