com.hankcs.hanlp.mining.word

类 NewWordDiscover

java.lang.Object

com.hankcs.hanlp.mining.word.NewWordDiscover

public class NewWordDiscover
extends Object

新词发现工具
在实现上参考了：https://github.com/Moonshile/ChineseWordSegmentation

作者:

hankcs

构造器概要

构造器

构造器和说明
NewWordDiscover()
NewWordDiscover(int max_word_len, float min_freq, float min_entropy, float min_aggregation, boolean filter) 构造一个新词识别工具

方法概要

限定符和类型	方法和说明
List<WordInfo>	discover(BufferedReader reader, int size) 提取词语
List<WordInfo>	discover(String doc, int size) 提取词语

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细资料

NewWordDiscover

public NewWordDiscover()

NewWordDiscover

public NewWordDiscover(int max_word_len,
                       float min_freq,
                       float min_entropy,
                       float min_aggregation,
                       boolean filter)

构造一个新词识别工具

参数:

max_word_len - 词语最长长度

min_freq - 词语最低频率

min_entropy - 词语最低熵

min_aggregation - 词语最低互信息

filter - 是否过滤掉HanLP中的词库中已存在的词语

方法详细资料

discover

public List<WordInfo> discover(BufferedReader reader,
                               int size)
                        throws IOException

提取词语

参数:

reader - 大文本

size - 需要提取词语的数量

返回:

一个词语列表

抛出:

IOException

discover

public List<WordInfo> discover(String doc,
                               int size)

提取词语

参数:

doc - 大文本

size - 需要提取词语的数量

返回:

一个词语列表