最小熵方法用于分词问题

给定由有限种字符组成的序列，我们试图将其作为“文本”来“阅读”。这涉及将序列分割为“词”。困难在于从海量随机分割中区分出好的分割。为了尽可能强烈地揭示序列的非随机性，通过应用最大似然方法，我们找到一个称为分割熵的量可用于完成此任务。与通常应用最大熵原理获得良好解不同，我们选择{\em 最小化}分割熵以获得良好分割。本通讯发展的概念可用于研究非编码DNA序列，例如真核生物基因组中调控元件的预测。