基于 Transformer 的人工智能检测奇幻文学中的咒语

Transformer 架构与模型在基于语言的任务中取得了显著进展。其中，BERT 是应用最广且可免费获取的 Transformer 架构之一。在我们的工作中，使用 BERT 对《哈利·波特》系列小说中的魔法咒语进行基于上下文的短语识别。咒语是奇幻小说中主动魔法常见的组成部分，通常在特定语境下使用以达成超自然效果。我们进行了一系列研究，考察 Transformer 架构能否依据其在《哈利·波特》传奇中的上下文识别此类短语。研究使用了预训练的 BERT 模型，并通过不同数据集与训练方法进行微调以识别目标上下文。通过采用序列分类与词元分类的不同方法，表明咒语的上下文可被识别。根据我们的研究，用于模型微调与验证的序列长度在上下文识别中起着重要作用。基于此，我们进一步探究咒语是否具有可泛化的属性，从而使神经网络模型能够迁移至其他奇幻世界。我们模型的应用展现出有前景的结果，值得在后续研究中深入展开。