立场：基础模型需要数字孪生表示
机器学习
2025-05-08 v1 人工智能
摘要
当前的基础模型（FM）依赖于令牌表示，这种表示直接将连续的、真实世界的多模态数据分割成离散的令牌。这限制了基础模型仅能通过统计相关性来学习真实世界的知识和关系，而不是利用显式的领域知识。因此，当前的基础模型在跨模态保持语义连贯性、捕捉细粒度时空动态以及执行因果推理方面存在困难。这些局限性无法通过简单地扩大模型规模或扩展数据集来克服。本立场论文认为，机器学习社区应考虑将数字孪生（DT）表示作为构建基础模型时token表示的替代方案。DT表示是结果驱动的数字表示，可作为创建物理过程虚拟副本的构建块。最后，我们讨论了DT表示如何通过提供物理上扎实的表示来应对这些挑战，这些表示能显式编码领域知识并保留真实世界过程的连续性。
引用
@article{arxiv.2505.03798,
title = {Position: Foundation Models Need Digital Twin Representations},
author = {Yiqing Shen and Hao Ding and Lalithkumar Seenivasan and Tianmin Shu and Mathias Unberath},
journal= {arXiv preprint arXiv:2505.03798},
year = {2025}
}