TsCA：基于条件传输的语义一致性对齐用于组合零样本学习
计算机视觉与模式识别
2025-01-28 v3
摘要
组合零样本学习（CZSL）旨在通过利用原始组件的共享知识来识别新颖的状态-对象组合。尽管已取得显著进展，但有效校准语义相似的多模态表示之间的偏差，以及将预训练知识泛化到新颖的组合语境中，仍然是一个持久的挑战。本文我们重新审视条件传输（CT）理论及其与 CZSL 中视觉-语义交互的同源关系，并进一步提出一种新颖的三集合一致性对齐框架（命名为 TsCA），以有效解决这些问题。具体而言，我们利用三个不同但语义同源的集合——图块、基元和组合——来构建成对 CT 成本，以最小化它们之间的语义差异。为进一步确保这些集合内部的一致性传递，我们实现了循环一致性约束，通过保证传输流中自映射的特征一致性来细化学习过程，无论模态如何。此外，我们将 CT 计划扩展到开放世界设置，使模型能够有效过滤不可行的配对，从而加快推理速度并提高准确率。大量实验验证了所提方法的有效性。
引用
@article{arxiv.2408.08703,
title = {TsCA: On the Semantic Consistency Alignment via Conditional Transport for Compositional Zero-Shot Learning},
author = {Miaoge Li and Jingcai Guo and Richard Yi Da Xu and Dongsheng Wang and Xiaofeng Cao and Zhijie Rao and Song Guo},
journal= {arXiv preprint arXiv:2408.08703},
year = {2025}
}
备注
9 pages, 5 figures