迈向语义一致性：狄利克雷能量驱动的鲁棒多模态实体对齐
信息检索
2024-03-20 v2
摘要
在多模态知识图谱（MMKGs）中，多模态实体对齐（MMEA）对于识别跨不同模态属性的相同实体至关重要。然而，主要由模态属性缺失引起的语义不一致性构成了重大挑战。传统方法依赖于属性插值，但这通常会引入模态噪声，扭曲原始语义。此外，缺乏通用的理论框架限制了实现语义一致性的进展。本研究引入了一种新方法DESAlign，它通过应用基于狄利克雷能量的理论框架来确保语义一致性，从而解决这些问题。我们发现语义不一致会导致模型对模态噪声过拟合，引起性能波动，尤其是在模态缺失时。DESAlign创新性地对抗过平滑，并利用现有模态插补缺失的语义。我们的方法包括一个多模态知识图谱学习策略和一种传播技术，该技术利用现有的语义特征来补偿缺失的特征，提供了显式的欧拉解。在包括单语和双语场景在内的60个基准划分上的综合评估表明，DESAlign超越了现有方法，树立了性能新标准。对高缺失率模态的进一步测试证实了其鲁棒性，为现实世界MMKGs中的语义不一致问题提供了有效解决方案。
引用
@article{arxiv.2401.17859,
title = {Towards Semantic Consistency: Dirichlet Energy Driven Robust Multi-Modal Entity Alignment},
author = {Yuanyi Wang and Haifeng Sun and Jiabo Wang and Jingyu Wang and Wei Tang and Qi Qi and Shaoling Sun and Jianxin Liao},
journal= {arXiv preprint arXiv:2401.17859},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2307.16210 by other authors