通过错位对齐：多模态对齐的边界感知课程学习
机器学习
2026-01-14 v2 人工智能
计算机视觉与模式识别
摘要
大多数多模态模型对待每个负样本对，忽略了与正样本仅 differ by 一小细节的模糊负样本。我们提出了一种带有局部注意力的边界感知课程学习（Boundary-Aware Curriculum with Local Attention, BACL），这是一种轻量级的附加模块，将这些边缘案例转化为课程信号。边界感知负采样器逐步提高难度性，而对比局部注意力损失则突出不匹配发生的地方。这两个模块完全可微，能够与任何即插即用双编码器配合使用。理论预测错误率为 O(1/n)；实践表明，在不使用额外标签的情况下，R@1 可提升最高 32%，并在四个大型基准上达到新的 SOTA。
引用
@article{arxiv.2511.08399,
title = {Aligning by Misaligning: Boundary-aware Curriculum Learning for Multimodal Alignment},
author = {Hua Ye and Hang Ding and Siyuan Chen and Yiyang Jiang and Changyuan Zhang and Xuan Zhang},
journal= {arXiv preprint arXiv:2511.08399},
year = {2026}
}
备注
24 pages, 6 figures, 5 tables. Submitted to NeurIPS 2025