基于真实世界稀疏测量的推断

真实世界问题常涉及复杂且非结构化的测量集合，这类情况出现在传感器于空间或时间上稀疏布置时。能够对这种不规则的时空数据建模并提取有意义的预测至关重要。能够处理位置随集合变化且可在任意位置提取读数的测量集合的深度学习架构在方法上十分困难。当前最先进的模型是图神经网络，且需要特定领域知识以正确配置。我们提出了一种基于注意力、聚焦于鲁棒性与实际适用性的模型，具有两项关键设计贡献。首先，我们采用类ViT的transformer，将上下文点与读出位置同时作为输入，消除了对编码器-解码器结构的需求。其次，我们使用统一方法对上下文与读出位置进行编码。该方法刻意保持简洁，并能与其他系统良好集成。与现有方法相比，我们的模型更简单、所需专业知识更少，且不受问题性瓶颈效应困扰，这些均有助于更优的性能。我们进行了深入的消融研究，刻画了替代模型潜表示中所存在的抑制信息利用并阻碍训练效率的问题性瓶颈。我们还在多个问题领域进行了实验，包括高空气流临近预报、两日天气预报、流体动力学与热扩散。我们的基于注意力的模型在处理不规则采样数据时持续优于最先进模型。值得注意的是，我们的模型将风临近预报的均方根误差(RMSE)从9.24降至7.98，将热扩散任务的误差从0.126降至0.084。