中文

基于不确定性引导的统一多模态关系抽取：模态增强与分布校准

量子物理 2026-08-05 v1 信息论 数学物理
作者: Hao-Chung Cheng , Po-Chieh Liu
在 arXiv 上查看 ↗ PDF ↗

摘要

统一多模态关系抽取(UMRE)旨在识别文本实体与视觉对象之间的单模态内关系和跨模态关系。然而，现有的 UMRE 研究仍面临两个关键问题：忽略内在 aleatoric 不确定性导致噪声传播，以及深层不同模态分布之间的异质性阻碍对齐。为解决这些问题，我们提出了不确定性引导的 UMRE 网络(UG-UMRE)。具体而言，我们设计了一个基于变分信息瓶颈的不确定性驱动的单模态增强模块(UDUA)，该模块将特征建模为高斯分布。通过融入不确定性感知的自监督对比学习机制，UDUA 有效过滤噪声，同时保持语义一致性。此外，我们引入了联合 aleatoric 不确定性对齐模块(JAUA)作为全局语义预校准机制。JAUA 利用概率分布一致性构建共享潜在空间，通过同步跨模态统计属性消除分布差距，从而为细粒度互动奠定稳健基础。在三个基准数据集(UMRE、MORE 和 MNRE)上的实验表明，UG-UMRE 实现了最先进的性能。进一步分析验证了所提 UDUA 和 JAUA 模块的可插拔性和有效性。

关键词

多模态关系抽取 不确定性引导 模态增强 分布校准 高斯分布 对比学习 潜在空间 语义一致性

引用

@article{arxiv.2608.04947,
  title  = {Sharp Continuity of Petz and Sandwiched R\'enyi Conditional Entropies},
  author = {Hao-Chung Cheng and Po-Chieh Liu},
  journal= {arXiv preprint arXiv:2608.04947},
  year   = {2026}
}

备注

Relevant literature: arXiv:2007.05049, arXiv:2607.24687