针对带噪标签的2D-3D检索：基于分治对齐与纠正的DAC框架
计算机视觉与模式识别
2024-09-30 v2
摘要
近年来，随着2D和3D数据的激增，跨模态检索受到广泛关注。然而，由于2D/3D内容的模糊性，非专业人员的手动标注不可避免地会引入错误的注释。虽然已有工作通过设计粗糙的划分策略并使用人工阈值来解决此问题，但其性能对阈值值极其敏感。此外，这些方法未能充分利用每个划分子集中宝贵的监督信号。为此，我们提出了Divide-and-conquer 2D-3D跨模态对齐纠正框架（DAC），其包含动态划分（MDD）和自适应对齐纠正（AAC）两个模块。具体而言，MDD通过基于多模态损失分布中补偿信息对每个样本进行自适应可信度建模，实现精确的样本划分。随后，在AAC中，针对不同子集中的样本采用不同的对齐策略，以充分提升语义紧凑性，同时缓解对噪声标签的过拟合，其中引入了自我纠正策略以提高表示质量。为评估其在实际场景中的效果，我们引入了一个具有挑战性的噪声基准数据集，即Objaverse-N200，其中包含20万级别的样本，标注了1156个真实的噪声标签。在广泛的传统和新兴基准测试上进行的大量实验表明，DAC的通用性和优越性得到了充分验证，其中DAC在ModelNet40和Objaverse-N200上的性能分别优于最先进模型高出5.9%和5.8%。
引用
@article{arxiv.2407.17779,
title = {DAC: 2D-3D Retrieval with Noisy Labels via Divide-and-Conquer Alignment and Correction},
author = {Chaofan Gan and Yuanpeng Tu and Yuxi Li and Weiyao Lin},
journal= {arXiv preprint arXiv:2407.17779},
year = {2024}
}
备注
accepted by ACM MM 2024