基于时序视频的空间-时间预训练用于胚胎可存活性预测
计算机视觉与模式识别
2025-06-24 v1
摘要
自动化预测体外受精 (IVF) 中胚胎可存活性重要但具有挑战性，因为只有少数胚胎在移植后才标记为孕 pregnancy outcome。自监督学习 (SSL) 可利用标记和未标记数据来提高预测。然而，现有的 SSL 方法对于视频在胚胎发育视频方面并不直接适用，因为面临两个挑战：(1) 胚胎时序视频包含数百帧，对常规 SSL 需要大量 GPU 内存；(2) 数据集包含长度各异的视频和许多异常帧，导致传统视频对齐方法在语义对齐方面捉襟见肘。我们提出空间-时间预训练 (STPT) 以解决这些挑战。STPT 包括两个阶段：空间和时间。在每个阶段，仅训练一个编码器而冻结另一个编码器，从而降低内存需求。为处理时间对齐，STPT 避免跨视频的逐帧对齐。空间阶段从每个视频及其时序一致增强的对齐中学习。随后，时间阶段对视频嵌入之间的关系进行建模。该方法高效处理长视频和时间可变性。在 23,027 部时序视频 (其中 3,286 部标记) 上，STPT 相较于基线方法实现了最高的 AUC 为 0.635 (95% 置信区间: 0.632-0.638)，且仅需有限计算资源。
引用
@article{arxiv.2506.17403,
title = {Spatial-Temporal Pre-Training for Embryo Viability Prediction Using Time-Lapse Videos},
author = {Zhiyi Shi and Junsik Kim and Helen Y. Yang and Yonghyun Song and Hyun-Jic Oh and Dalit Ben-Yosef and Daniel Needleman and Hanspeter Pfister},
journal= {arXiv preprint arXiv:2506.17403},
year = {2025}
}
备注
Preprint submitted to Medical Image Analysis