MT-TransUNet：在 Transformer 中中介多任务令牌用于皮肤病变分割与分类
图像与视频处理
2021-12-06 v1 计算机视觉与模式识别
机器学习
摘要
自动化皮肤癌诊断的最新进展已产生与 board-certified 皮肤科医生相当的绩效。然而，这些方法将皮肤癌诊断表述为简单的分类任务，忽视了病变分割的潜在益处。我们认为，准确的病变分割可通过不对称性、边界、强度和物理尺寸等附加病变信息来补充分类任务；反之，可靠的病变分类可通过判别性病变特征支持分割任务。为此，本文提出一种称为 MT-TransUNet 的新多任务框架，其能够通过中介 Transformer 中的多任务令牌来协作分割与分类皮肤病变。此外，我们引入了双任务与关注区域一致性损失，以利用那些无像素级标注的图像，确保模型在遇到同一幅经增强的图像时具有鲁棒性。我们的 MT-TransUNet 在 ISIC-2017 和 PH2 的病变分割与分类任务上超越了先前最先进水平；更重要的是，它在模型参数（48M~vs.~130M）和推理速度（每图 0.17s~vs.~2.02s）方面保持了引人注目的计算效率。代码将发布于 https://github.com/JingyeChen/MT-TransUNet。
引用
@article{arxiv.2112.01767,
title = {MT-TransUNet: Mediating Multi-Task Tokens in Transformers for Skin Lesion Segmentation and Classification},
author = {Jingye Chen and Jieneng Chen and Zongwei Zhou and Bin Li and Alan Yuille and Yongyi Lu},
journal= {arXiv preprint arXiv:2112.01767},
year = {2021}
}
备注
A technical report. Code will be released