FullTilt：直接从倾斜二维投影进行实时开放集三维大分子检测
计算机视觉与模式识别
2026-05-04 v4
摘要
在冷冻电子断层扫描中进行开放集三维大分子检测消除了对目标特定模型重新训练的需求。然而，严格的VRAM限制禁止处理整个三维断层图，迫使当前方法依赖于对提取的子体积进行缓慢的滑动窗口推理。为了克服这个问题，我们提出了FullTilt，这是一个端到端框架，通过直接在已对齐的二维倾斜系列上操作来重新定义三维检测。由于倾斜系列包含的图像数量远少于重建断层图中的切片数量，FullTilt消除了冗余的体积计算，将推理速度提升了数个数量级。为了同时处理整个倾斜系列，我们引入了一个倾斜系列编码器，以高效地融合跨视图信息。我们进一步提出了一个多类视觉提示编码器以实现灵活提示，一个倾斜感知查询初始化器以有效锚定三维查询，以及一个辅助几何基元模块以增强模型对多视图几何的理解，同时提高对不良成像伪影的鲁棒性。在三个真实世界数据集上的广泛评估表明，FullTilt实现了最先进的零样本性能，同时大幅减少了运行时间和VRAM需求，为快速、大规模的视觉蛋白质组学分析铺平了道路。所有代码和数据将在发表后公开。
引用
@article{arxiv.2604.10766,
title = {At FullTilt: Real-Time Open-Set 3D Macromolecule Detection Directly from Tilted 2D Projections},
author = {Ming-Yang Ho and Alberto Bartesaghi},
journal= {arXiv preprint arXiv:2604.10766},
year = {2026}
}