基于条件门控的跨模态注意力用于事件条件异步融合

我们研究异步对齐问题，这是一种多模态学习中的首要多模态设置，其中必须将稠密的主流与不规则的外部上下文融合，其价值取决于其到达时间。不同于标准多模态基准假设结构同步的设置，这一设置需要模型明确地推理关于新鲜度和可信度。我们聚焦于事件条件下的案例，其中连续的市场状态与延迟的网络情报配对，我们仅将高频加密货币市场用作带时间戳的高噪声测试。我们提出CGCMA(Conditionally-Gated Cross-Modal Attention)，其核心设计原则是分离文本条件化 grounding 与 lag-aware trust control。文本首先注意力地注意力覆盖价格序列以识别事件相关的市场状态，随后一个条件门控器使用模态一致性、网络特征和lag $\tau_{\mathrm{lag}}$来调节残差注入并在外部上下文陈旧或矛盾时回退到单模态预测。我们引入CMI(Crypto Market Intelligence)，一个包含27,914个真实新闻样本的异步评估语料库，将高频价格序列与滞后网络情报配对。在当前短真实新闻语料库上，CGCMA在评估的基准中以共享的零成本阈值交易评估下，实现了最高的平均下游 Sharpe比率($+0.449 \pm 0.257$)。额外控制表明，该收益不仅仅归因于网络标量，也不能被简单的新鲜度启发式所恢复。所得证据支持问题有效性以及在该压力测试设置下的有前景的异步多模态增益。