Package com.hankcs.hanlp.tokenizer

一些常用的配置好的静态分词器,其中一些具备特殊的预处理功能
可供用户参考以实现自己的预处理逻辑.

See: Description

Class Summary

Class	Description
BasicTokenizer	基础分词器，只做基本NGram分词，不识别命名实体，不使用用户词典
IndexTokenizer	索引分词器
NLPTokenizer	可供自然语言处理用的分词器，更重视准确率。
NotionalTokenizer	实词分词器，自动移除停用词
SpeedTokenizer	极速分词，基于Double Array Trie实现的词典分词，适用于“高吞吐量”“精度一般”的场合
StandardTokenizer	标准分词器
TraditionalChineseTokenizer	繁体中文分词器
URLTokenizer	可以识别URL的分词器

Package com.hankcs.hanlp.tokenizer Description

一些常用的配置好的静态分词器,其中一些具备特殊的预处理功能
可供用户参考以实现自己的预处理逻辑.