睁眼酣睡整夜！基于开关记忆的跨时代序列分词
计算与语言
2022-09-08 v1
摘要
语言的演变遵循渐变规律。语法、词汇与词汇语义的变迁随时间发生，造成历时语言鸿沟。因此，大量文本以不同时代的语言写就，给自然语言处理任务（如分词与机器翻译）带来障碍。尽管汉语历史悠久，以往的中文自然语言处理研究主要聚焦于特定时代内的任务。为此，我们提出一种用于中文分词（CWS）的跨时代学习框架 CROSSWISE，其利用开关记忆（Switch-memory, SM）模块融入特定时代语言知识。在四个来自不同时代的语料库上的实验表明，各语料库性能均显著提升。进一步分析也证明 SM 能有效将各时代知识整合进神经网络。
引用
@article{arxiv.2209.02967,
title = {That Slepen Al the Nyght with Open Ye! Cross-era Sequence Segmentation with Switch-memory},
author = {Xuemei Tang and Qi Su and Jun Wang},
journal= {arXiv preprint arXiv:2209.02967},
year = {2022}
}
备注
11 pages, 3 figures, accepted by ACL2022