预训练模型中的关系学习：基于超图恢复视角的理论
人工智能
2024-06-18 v1 机器学习
摘要
基础模型（FMs）已展现出对世界关系动态的深刻洞察，这引出了一个关键问题：这些模型如何获得对世界混合关系的理解？传统的统计学习，特别是针对预测问题的学习，可能会忽略数据中丰富且固有结构化的信息，尤其是关于对象之间的关系。我们引入了一个数学模型，将关系学习形式化为超图恢复，以研究FMs的预训练。在我们的框架中，世界被表示为一个超图，数据被抽象为从超边中随机抽取的样本。我们从理论上检验了预训练模型（PTM）恢复该超图的可行性，并以极小化极大近最优的方式分析了数据效率。通过将丰富的图理论整合到PTM领域，我们的数学框架为从独特视角深入理解预训练提供了强大工具，并可用于多种场景。作为示例，我们将该框架扩展到多模态学习中的实体对齐。
引用
@article{arxiv.2406.11249,
title = {Relational Learning in Pre-Trained Models: A Theory from Hypergraph Recovery Perspective},
author = {Yang Chen and Cong Fang and Zhouchen Lin and Bing Liu},
journal= {arXiv preprint arXiv:2406.11249},
year = {2024}
}