将视频扩散模型适配于延时显微成像
计算机视觉与模式识别
2025-04-03 v2
摘要
我们提出了一种视频扩散模型的领域适配方法，以生成高度逼真的 HeLa 细胞细胞分裂延时显微视频。尽管 SOTA 生成式视频模型在自然视频方面取得了显著进展，但它们在显微成像领域仍鲜有探索。为了填补这一空白，我们在显微成像特定序列上对预训练的视频扩散模型进行了微调，并探索了三种条件化策略：(1) 从数值表型测量（如增殖率、迁移速度、细胞死亡频率）导出的文本提示；(2) 表型分数的直接数值嵌入；(3) 图像条件化生成，即将初始显微成像帧扩展为完整的视频序列。使用具有生物学意义的形态学、增殖和迁移指标进行评估表明，微调显著提高了真实性，并准确捕获了有丝分裂和迁移等关键细胞行为。值得注意的是，微调后的模型还能泛化到训练视野之外，即使在扩展序列中也能生成连贯的细胞动力学。然而，精确控制特定表型特征仍然具有挑战性，这为未来工作改进条件化方法提供了机会。我们的结果证明了生成式视频模型的领域特定微调在产生生物学上合理的合成显微成像数据方面的潜力，支持了诸如计算机模拟假设检验和数据增强等应用。
引用
@article{arxiv.2503.18583,
title = {Adapting Video Diffusion Models for Time-Lapse Microscopy},
author = {Alexander Holmberg and Nils Mechtel and Wei Ouyang},
journal= {arXiv preprint arXiv:2503.18583},
year = {2025}
}