OmniField：用于稳健多模态时空学习的条件神经场
机器学习
2025-11-05 v1 计算机视觉与模式识别
摘要
多模态时空学习在真实世界实验数据上受到两个挑战的制约：同一模态内的测量稀疏、不规则且噪声较大 (QA/QC 制造的伪影)，但跨模态相关；可用模态集合在空间和时间上各不相同，除非模型能够适应训练和测试时的任意子集，否则可用记录将缩水。在本文中，我们提出了 OmniField，一个连续神经场条件化于可用模态并迭代融合跨模态上下文的连续性感知框架。配合多模态串扰块体系结构和迭代跨模态细化，在解码器之前对信号进行对齐，实现统一的重建、插值、预测和跨模态预测，而无需网格化或代理预处理。广泛的评估显示，OmniField 在八个强大的多模态时空基准上 consistently 优于表现。即使在重度模拟传感器噪声下，性能仍接近干净输入水平，凸显对损坏测量的鲁棒性。
引用
@article{arxiv.2511.02205,
title = {OmniField: Conditioned Neural Fields for Robust Multimodal Spatiotemporal Learning},
author = {Kevin Valencia and Thilina Balasooriya and Xihaier Luo and Shinjae Yoo and David Keetae Park},
journal= {arXiv preprint arXiv:2511.02205},
year = {2025}
}
备注
25 pages, 12 figures, 8 tables