EndoUIC：用于胶囊内镜统一照明校正的可提示扩散转换器
图像与视频处理
2024-07-09 v2 人工智能
计算机视觉与模式识别
摘要
无线胶囊内镜（WCE）因其非侵入性和无痛性而受到高度重视，但由于硬件限制和复杂的内部动力学导致照明不均，影响其有效性，引起过曝或欠曝图像。虽然研究者讨论了WCE中低光增强的挑战，但针对不同曝光水平的校正问题仍未得到充分探索。为此，我们提出EndoUIC，这是一种基于端到端可提示扩散转换器（DiT）模型的WCE统一照明校正解决方案。本文中，照明提示模块可引导模型适应不同曝光水平并执行针对性图像增强，其中自适应提示集成（API）和全局提示扫描（GPS）模块进一步提升了提示参数与特征之间的并行表示学习。此外，我们提出U型恢复DiT模型，以捕获长程依赖和上下文信息，以实现统一照明恢复。我们还提出了一种新型胶囊内镜曝光校正（CEC）数据集，包括由专家摄影师标注的ground-truth与损坏图像对。对四个数据集上多个最先进（SOTA）方法的广泛实验表明，我们提出的方法及其组件在WCE照明恢复方面有效，而额外的下游实验进一步显示其对临床诊断和手术辅助的实用性。
引用
@article{arxiv.2406.13705,
title = {EndoUIC: Promptable Diffusion Transformer for Unified Illumination Correction in Capsule Endoscopy},
author = {Long Bai and Tong Chen and Qiaozhi Tan and Wan Jun Nah and Yanheng Li and Zhicheng He and Sishen Yuan and Zhen Chen and Jinlin Wu and Mobarakol Islam and Zhen Li and Hongbin Liu and Hongliang Ren},
journal= {arXiv preprint arXiv:2406.13705},
year = {2024}
}
备注
To appear in MICCAI 2024. Code and dataset availability: https://github.com/longbai1006/EndoUIC