HITgram：n-gram 语言模型实验平台
计算与语言
2024-12-17 v1 人工智能
摘要
大型语言模型（LLM）功能强大但资源密集，限制了可访问性。HITgram 通过提供一个轻量级的 n-gram 模型实验平台来弥补这一差距，非常适合资源受限的环境。它支持单字到 4-gram，并集成了上下文敏感加权、拉普拉斯平滑和动态语料库管理等功能，以增强预测准确性，即使对于未见过的词序列也是如此。实验证明了 HITgram 的高效性，实现了每秒 50,000 个 token，并能在 62 秒内从 320MB 语料库生成 2-gram。HITgram 可高效扩展，在 8 GB RAM 系统上不到 298 秒即可从 1GB 文件构建 4-gram。计划的增强功能包括多语言支持、高级平滑、并行处理和模型保存，进一步拓宽了其用途。
引用
@article{arxiv.2412.10717,
title = {HITgram: A Platform for Experimenting with n-gram Language Models},
author = {Shibaranjani Dasgupta and Chandan Maity and Somdip Mukherjee and Rohan Singh and Diptendu Dutta and Debasish Jana},
journal= {arXiv preprint arXiv:2412.10717},
year = {2024}
}