渐进式模态冻结：多模态实体对齐方法
计算与语言
2024-07-24 v1
摘要
多模态实体对齐旨在发现跨异构知识图谱中相同实体。虽然近期研究深入探讨了融合范例以全面表示实体，但忽略了消除与对齐无关特征和模态不一致性的问题——这些特征源于多模态特征固有的差异。为此，本文提出一种新颖策略：渐进式模态冻结（PMF），专注于对齐相关特征并增强多模态特征融合。值得注意的是，本方法引入了首创性的跨模态关联损失，以促进模态一致性。跨越九个数据集的实证评估表明，PMF在性能和模态冻结合理性方面均显示出领先的表现。我们的代码已公开于https://github.com/ninibymilk/PMF-MMEA。
引用
@article{arxiv.2407.16168,
title = {Progressively Modality Freezing for Multi-Modal Entity Alignment},
author = {Yani Huang and Xuefeng Zhang and Richong Zhang and Junfan Chen and Jaein Kim},
journal= {arXiv preprint arXiv:2407.16168},
year = {2024}
}
备注
13pages, 8 figures, Accepted by ACL2024