以一对多合成将手术器械分割推广至未见域
图像与视频处理
2023-06-29 v1 计算机视觉与模式识别
摘要
尽管基于深度学习的方法在各种手术场景理解任务中表现优异，但其部署到真实世界手术应用常因多种原因受阻。特别是站点与患者之间的数据收集、标注和域偏移是最常见的障碍。在本工作中，我们通过高效利用极少量源图像生成合成手术器械分割数据集，并在未见真实域上取得出色的泛化性能，从而缓解数据相关问题。具体而言，在我们的框架中，仅取一张背景组织图像和每种前景器械至多三张图像作为种子图像。这些源图像经广泛变换并用于构建前景与背景图像池，从中随机采样的组织与器械图像通过多种混合技术合成新的手术场景图像。此外，我们引入混合训练时增强以进一步丰富训练数据。在三个真实世界数据集（即Endo2017、Endo2018和RoboTool）上的大量评估表明，我们的一对多合成手术器械数据集生成与分割框架相比使用真实数据训练可获得令人鼓舞的性能。值得注意的是，在存在更显著域间隙的RoboTool数据集上，我们的框架以可观的幅度展现了泛化优势。我们期望这一鼓舞人心的结果将吸引研究关注于通过数据合成来提升模型泛化能力。
引用
@article{arxiv.2306.16285,
title = {Generalizing Surgical Instruments Segmentation to Unseen Domains with One-to-Many Synthesis},
author = {An Wang and Mobarakol Islam and Mengya Xu and Hongliang Ren},
journal= {arXiv preprint arXiv:2306.16285},
year = {2023}
}
备注
First two authors contributed equally. Accepted by IROS2023