HyKey： minimally invasive surgery 中的光谱关键点检测与匹配

目的： minimally invasive手术中的3D重建通过 improved 可视化、工具跟踪和增强现实等方式提升手术引导效果。然而，传统的基于RGB的关键点检测与匹配流程在面对手术挑战（如贫乏纹理和复杂照明）时表现不佳。我们探讨使用快照光谱成像（HSI）是否能在手术场景中提供更好的关键点检测和匹配结果。方法：我们开发了HyKey——一个由HYperspectral KEYpoint检测与描述模型构成的模型，包含混合3D-2D卷积神经网络，能够从HSI中联合提取空间-光谱特征。该模型采用机器人获取的ex-vivo器官上标定相机姿态的双目RGB-HSI laparoscopic数据集进行训练，训练时使用合成的仿射增强和极线几何约束。我们将其性能与 established RGB-based方法（包括SuperPoint和ALIKE）进行基准测试。结果：我们的HSI-based模型在已注册的RGB帧上超过RGB基线，实现了96.62%的平均匹配准确率和67.18%的平均平均准确率（10度姿态估计），在多个评估指标上均表现出一致的改进。结论：将HSI立方体中的光谱信息集成到单目3D重建中，为解决纹理贫乏手术环境的局限性提供了通过增强光谱-空间特征区分度的有前景的方法。我们的模型和数据集可在 https://github.com/alexsaikia/HyKey-Hyperspectral-Keypoint-Detection 上获取。