| 类 | 说明 |
|---|---|
| BasicTokenizer |
基础分词器，只做基本NGram分词，不识别命名实体，不使用用户词典
|
| IndexTokenizer |
索引分词器
|
| NLPTokenizer |
可供自然语言处理用的分词器
|
| NotionalTokenizer |
实词分词器，自动移除停用词
|
| SpeedTokenizer |
极速分词，基于Double Array Trie实现的词典分词，适用于“高吞吐量”“精度一般”的场合
|
| StandardTokenizer |
标准分词器
|
| TraditionalChineseTokenizer |
繁体中文分词器
|
| URLTokenizer |
可以识别URL的分词器
|
Copyright © 2014–2017 码农场. All rights reserved.