BeamVQ：通过物理感知指标在物理驱动模型上进行自训练对齐
机器学习
2024-05-28 v1 人工智能
摘要
数据驱动的深度学习已成为建模复杂物理空间时间系统的新范式。这些数据驱动方法通过优化统计指标来学习模式，倾向于忽略对物理规律的遵循，不同于传统模型驱动的数值方法。因此，他们常常生成不符合物理现实的预测。另一方面，通过从数据驱动模型中抽样大量高质量预测，其中一些预测在物理上更合理，更接近未来会发生的事情。在此基础上，我们提出了基于向量量化的束搜索（Beam search by Vector Quantization, BeamVQ）来增强数据驱动空间时间预测模型的物理对齐。BeamVQ的关键在于使用物理感知指标筛选自生成样本来训练模型。为了灵活支持不同的骨干网络，BeamVQ利用代码库将任何编码-解码模型转换为离散代码。随后，它迭代地采用束搜索来抽样高质量序列，保留得分最高的物理感知序列，并在新数据集上训练模型。全面实验表明，BeamVQ不仅为十个骨干网络在五个数据集上实现了超过32%的统计技能得分提升，还显著提升了物理感知指标。
引用
@article{arxiv.2405.17051,
title = {BeamVQ: Aligning Space-Time Forecasting Model via Self-training on Physics-aware Metrics},
author = {Hao Wu and Xingjian Shi and Ziyue Huang and Penghao Zhao and Wei Xiong and Jinbao Xue and Yangyu Tao and Xiaomeng Huang and Weiyan Wang},
journal= {arXiv preprint arXiv:2405.17051},
year = {2024}
}