从电子文本中移除人工生成的样板：古腾堡计划电子书的实验

对非结构化或半结构化文档（如文学语料库或源代码）的协作工作通常涉及包含元数据的约定模板。这些模板在不同用户和不同时间之间并不一致。基于规则的模板解析维护成本高昂，且随着新文档的添加往往失效。基于频繁出现的统计技术有可能自动识别大部分模板，从而减轻程序员的负担。我们研究了古腾堡计划语料库的情况，其中大多数文档为 ASCII 格式，包含常被复制粘贴或手动输入的序言和后记。我们表明，统计方法可以解决大多数情况，尽管某些文档需要英语知识。我们还综述了各种技术方案，使我们的方法适用于大型数据集。