用于内镜图像计算的硬注意力门和梯度路由
摘要
为解决胃肠道多发性息肉大小评估中的过拟合问题并提升模型的泛化能力，本研究引入特征选择门（FSG）或硬注意力门（Hard-Attention Gates, HAG）以及梯度路由（Gradient Routing, GR），以实现动态特征选择。该技术旨在通过促进卷积神经网络（CNNs）和视觉转换器（Vision Transformers, ViTs）的稀疏连接，从而减少过拟合并提升泛化性能。HAG 通过带可学习权重的稀疏化实现上述目标，作为正则化策略。GR 进一步优化 HAG 参数，独立于主模型进行双前向传播，以改进特征重新加权。本次评估涵盖多个数据集，包括用于广泛影响力评估的 CIFAR-100，以及专注于内镜图像的专业数据集（REAL-Colon、Misawa 和 SUN），其中包含超过 37 万帧中 200 多个息肉。结果表明，HAG 增强的网络在内镜图像相关的二分类和三分类任务中显著提升性能。具体而言，CNN 在二分类任务中 F1 分数提升至 87.8%，而 ViT-T 模型在三分类任务中达到 76.5% 的 F1 分数，均优于传统 CNN 和 ViT-T 模型。为促进进一步的研究，我们发布了包含 CNN、多流 CNN、ViT 以及 HAG 增强变体的实现代码。该资源旨在标准化内镜数据集的使用，提供可靠且可比较的胃肠道息肉大小评估研究的公共训练-验证-测试划分。代码已发布于 github.com/cosmoimd/feature-selection-gates。
引用
@article{arxiv.2407.04400,
title = {Hard-Attention Gates with Gradient Routing for Endoscopic Image Computing},
author = {Giorgio Roffo and Carlo Biffi and Pietro Salvagnini and Andrea Cherubini},
journal= {arXiv preprint arXiv:2407.04400},
year = {2024}
}
备注
Attention Gates, Hard-Attention Gates, Gradient Routing, Feature Selection Gates, Endoscopy, Medical Image Processing, Computer Vision