用于胃肠视频分析的 ResNet-50 结合类别重权与解剖学引导的时间解码
计算机视觉与模式识别
2026-05-21 v2 机器学习
摘要
我们开发了一个基于 ResNet-50 帧分类器后接解剖学引导的时间事件解码的多标签胃肠视频分析管线。该系统从尺寸为 336x336 的帧预测 17 个标签，包括 5 个解剖学类别和 12 个病理学类别。主要挑战在于严重的类别不平衡，尤其是稀有病理标签。为此，我们采用了训练损失中的 clipped 类间正权重，这在保持优化稳定性的同时提高了稀有类别的学习。 在时间阶段，我们发现直接的帧到事件转换产生了与官方 ground truth 不一致的碎片化问题。最终方案因此结合了 GT 风格的帧级事件组成、解剖学投票平滑和基于解剖学的病理学门控，以及保守的滞后解码器。该设计将挑战测试集上的最终时间 mAP 从 0.3801 提升至 0.4303。
引用
@article{arxiv.2603.17784,
title = {ResNet-50 with Class Reweighting and Anatomy-Guided Temporal Decoding for Gastrointestinal Video Analysis},
author = {Romil Imtiaz and Dimitris K. Iakovidis},
journal= {arXiv preprint arXiv:2603.17784},
year = {2026}
}
备注
ICPR 2026 RARE-VISION Competition