现在听起来像你：在设备端学习个性化词汇
计算与语言
2024-02-15 v3 人工智能
摘要
近年来，联邦学习（FL）在执行各类自然语言处理（NLP）任务的能力上取得了显著进展。本工作聚焦于将个性化 FL 应用于设备端语言建模。由于内存与延迟的限制，这些模型无法支持子词分词或束搜索解码的复杂性，从而决定部署一个闭词汇语言模型。然而，闭词汇模型无法处理属于特定用户的词表外（OOV）词。为解决此问题，我们提出一种称为“OOV 扩展”的新技术，在最小化对内存与延迟影响的同时改善 OOV 覆盖并提升模型准确率。该方法引入一个个性化的“OOV 适配器”，可有效从中心模型迁移知识并为个性化词汇学习词嵌入。OOV 扩展在一组常见 FL 基准上显著优于标准 FL 个性化方法。
引用
@article{arxiv.2305.03584,
title = {Now It Sounds Like You: Learning Personalized Vocabulary On Device},
author = {Sid Wang and Ashish Shenoy and Pierce Chuang and John Nguyen},
journal= {arXiv preprint arXiv:2305.03584},
year = {2024}
}
备注
Federated Learning, Personalization, On-device NLP, Accepted at AAAI Spring Symposium 2024