GADePo：用于文档级关系抽取的图辅助声明式池化 Transformer

文档级关系抽取通常依赖于基于文本的编码器和手工编码的池化启发式方法来聚合编码器学习到的信息。在本文中，我们利用 Transformer 模型固有的图处理能力，提出用输入中的新 token 替换手工编码的池化方法，这些 token 旨在通过注意力权重计算中的显式图关系来聚合信息。我们引入了一种联合文本-图 Transformer 模型以及一种图辅助声明式池化（GADePo）的输入规范，该规范为信息聚合提供了显式且高层的指令。GADePo 允许池化过程由领域特定知识或期望结果引导，但仍由 Transformer 学习，从而带来更灵活和可定制的池化策略。我们在多个数据集和模型上评估了我们的方法，并表明我们的方法取得了有前景的结果，且始终优于手工编码的池化函数所取得的结果。