Sig-Networks 工具包：用于纵向语言建模的 Signature Networks
计算与语言
2024-02-07 v2
摘要
我们提出了一个开源的、可通过 pip 安装的 Sig-Networks 工具包，这是首个用于纵向语言建模的工具包。其核心重点是引入基于 Signature 的神经网络模型，这些模型近期在时序任务中展现了成功。我们应用并扩展了已发表的研究，提供了一套完整的基于 signature 的模型。其组件可作为未来架构中的 PyTorch 构建模块。Sig-Networks 实现了任务无关的数据集即插即用、序列数据的无缝预处理、参数灵活性以及跨多种模型的自动调优。我们在三个具有不同时间粒度的 NLP 任务下考察了 signature networks：心理咨询对话、谣言立场转变以及社交媒体帖子中的情绪变化，在所有三个任务中均展现出 SOTA 性能，并为未来任务提供了指导。我们将该工具包作为 PyTorch 包发布，并附带介绍视频、用于预处理和建模的 Git 仓库，以及针对所建模 NLP 任务的示例笔记本。
引用
@article{arxiv.2312.03523,
title = {Sig-Networks Toolkit: Signature Networks for Longitudinal Language Modelling},
author = {Talia Tseriotou and Ryan Sze-Yin Chan and Adam Tsakalidis and Iman Munire Bilal and Elena Kochkina and Terry Lyons and Maria Liakata},
journal= {arXiv preprint arXiv:2312.03523},
year = {2024}
}
备注
To appear in EACL 2024: System Demonstrations