Banyan：利用显式结构 improved 表征学习

我们提出了 Banyan，一种通过利用显式层次结构来高效学习语义表征的模型。虽然 transformer 在大规模下表现出色，但在低资源环境中表现不足。相反，近期的结构化模型显示出作为高效学习者的潜力，但性能不足。Banyan 通过两种关键创新—— entangled 层次树结构和对角化消息传递——弥合了这一差距，只需 14 个非嵌入参数即可超越更大规模的 transformer 模型。它在低资源环境中表现出色，为资源受限环境中的语言提供了可行的替代方案，凸显其在高效、可解释 NLP 中的潜力。