基于物理信息的机器学习用于微型对象姿态估计的高效仿真到现实数据增强
计算机视觉与模式识别
2025-11-21 v1 人工智能
摘要
精确的光学微型机器人姿态估计对于实现高精度对象跟踪和自主生物学研究至关重要。然而，当前方法高度依赖大规模高质量的显微镜图像数据集，而这类数据集因微型机器人制造的复杂性和标注的工作量大而难以获取且成本高昂。数字孪生系统为仿真到现实数据增强提供了可行之路，但现有技术难以复制复杂的光学显微镜现象，如衍射伪影和深度相关成像。本文提出一种新型物理信息驱动的深度生成学习框架，首次将基于波动力学的物理渲染和深度对齐集成到生成对抗网络（GAN）中，用于高效合成微型机器人姿态估计的高保真显微镜图像。我们的方法在结构相似性指数（SSIM）上较纯粹基于人工智能的方法提升了 ，同时保持实时渲染速度（0.022 秒/帧）。我们的方法训练的姿态估计器（CNN 主干网络）在合成数据上达到 （俯仰/滚转）准确率，仅比仅使用真实数据的估计器差 （俯仰/滚转）。此外，我们的框架对未见姿态具有泛化能力，使无需额外训练数据即可实现数据增强和针对新型微型机器人配置的稳健姿态估计。
引用
@article{arxiv.2511.16494,
title = {Physics-Informed Machine Learning for Efficient Sim-to-Real Data Augmentation in Micro-Object Pose Estimation},
author = {Zongcai Tan and Lan Wei and Dandan Zhang},
journal= {arXiv preprint arXiv:2511.16494},
year = {2025}
}