Duncode：更短的字符编码
计算与语言
2023-07-12 v1 数据库
信息检索
摘要
本文研究在文本转换中将字符转换为字节的各种编码器的使用。讨论了局部编码器如 ASCII 和 GB-2312，其将特定字符编码为更短的字节；以及通用编码器如 UTF-8 和 UTF-16，其可编码完整的 Unicode 集合但空间需求更大且正被广泛接受。其他编码器，包括 SCSU、BOCU-1 和二进制编码器，则缺乏自同步能力。Duncode 作为一种创新编码方法被提出，旨在以类似局部编码器的高空间效率编码整个 Unicode 字符集。它有可能用更少的字节将字符串中的多个字符压缩为一个 Duncode 单元。尽管提供的自同步标识信息较少，Duncode 在空间效率上超越 UTF8。该应用可在 \url{https://github.com/laohur/duncode} 获取。此外，我们开发了一个用于评估跨语言字符编码器的基准，涵盖 179 种语言，可在 \url{https://github.com/laohur/wiki2txt} 访问。
引用
@article{arxiv.2307.05414,
title = {Duncode Characters Shorter},
author = {Changshang Xue},
journal= {arXiv preprint arXiv:2307.05414},
year = {2023}
}