视觉关系学习：难点在于长尾

近来大量工作致力于对视觉关系建模。这主要涉及架构设计，通常通过增加参数与提升模型复杂度来实现。然而，由于对物体组群进行联合推理的组合性质，视觉关系学习是一个长尾问题。一般而言，增加模型复杂度因其过拟合倾向而不适合长尾问题。在本文中，我们探索了一个替代假设，称为“难点在于长尾”（Devil is in the Tails）。在该假设下，更好的性能通过保持模型简单但提升其应对长尾分布的能力来实现。为验证此假设，我们设计了一种训练视觉关系模型的新方法，其受最先进的长尾识别文献启发。该方法基于一种迭代解耦训练方案，称为面向长尾难点的解耦训练（DT2）。DT2 采用一种新颖的采样方法，交替类平衡采样（ACBS），以捕捉视觉关系的长尾实体与谓词分布之间的相互作用。结果表明，凭借极简的架构，DT2-ACBS 在场景图生成任务上显著优于复杂得多的先进方法。这表明复杂模型的开发必须与该问题的长尾本质一并考量。