PuzzleTuning：用拼图显式桥接病理图像与自然图像
图像与视频处理
2024-04-24 v4
摘要
病理图像分析是计算机视觉中的关键领域。由于病理领域标注稀缺，基于自监督学习（SSL）的预训练被广泛应用于在无标注图像上学习。然而，当前基于 SSL 的病理预训练：（1）未显式探索病理领域的关键关注点；（2）未有效桥接并因而利用来自自然图像的知识。为显式解决这些问题，我们提出大规模 PuzzleTuning 框架，包含如下创新。首先，我们定义三个可有效桥接病理与自然领域知识的任务关注点：外观一致性、空间一致性与复原理解。其次，我们设计了一种新颖的多拼图复原任务，针对这些关注点显式预训练模型。第三，我们引入显式提示微调过程以增量整合领域特定知识，它构建了对齐自然与病理图像间巨大领域鸿沟的桥梁。此外，设计了课程学习训练策略以调节任务难度，使模型适应拼图复原的复杂度。实验结果表明，我们的 PuzzleTuning 框架在多个数据集的各类下游任务中优于先前的最先进方法。代码、演示与预训练权重发布于 https://github.com/sagizty/PuzzleTuning。
引用
@article{arxiv.2311.06712,
title = {PuzzleTuning: Explicitly Bridge Pathological and Natural Image with Puzzles},
author = {Tianyi Zhang and Shangqing Lyu and Yanli Lei and Sicheng Chen and Nan Ying and Yufang He and Yu Zhao and Yunlu Feng and Hwee Kuan Lee and Guanglei Zhang},
journal= {arXiv preprint arXiv:2311.06712},
year = {2024}
}
备注
13 pages, 9 figures, 8 tables