com.hankcs.hanlp.seg

类 CharacterBasedGenerativeModelSegment

java.lang.Object

com.hankcs.hanlp.seg.Segment

com.hankcs.hanlp.seg.CharacterBasedGenerativeModelSegment

直接已知子类:

CRFSegment, HMMSegment

public abstract class CharacterBasedGenerativeModelSegment
extends Segment

基于字构词的生成式模型分词器基类

作者:

hankcs

字段概要

从类继承的字段 com.hankcs.hanlp.seg.Segment

config

构造器概要

构造器

构造器和说明
CharacterBasedGenerativeModelSegment()

方法概要

限定符和类型	方法和说明
protected static List<Term>	convert(List<Vertex> vertexList, boolean offsetEnabled) 将一条路径转为最终结果
static CoreDictionary.Attribute	guessAttribute(Term term) 查询或猜测一个词语的属性， 先查词典，然后对字母、数字串的属性进行判断，最后猜测未登录词
protected abstract List<Term>	roughSegSentence(char[] sentence) 单纯的分词模型实现该方法，仅输出词
protected List<Term>	segSentence(char[] sentence) 给一个句子分词
protected List<Vertex>	toVertexList(List<Term> wordList, boolean appendStart) 将中间结果转换为词网顶点, 这样就可以利用基于Vertex开发的功能, 如词性标注、NER等

从类继承的方法 com.hankcs.hanlp.seg.Segment

atomSegment, combineByCustomDictionary, combineByCustomDictionary, enableAllNamedEntityRecognize, enableCustomDictionary, enableCustomDictionaryForcing, enableIndexMode, enableIndexMode, enableJapaneseNameRecognize, enableMultithreading, enableMultithreading, enableNameRecognize, enableNumberQuantifierRecognize, enableOffset, enableOrganizationRecognize, enablePartOfSpeechTagging, enablePlaceRecognize, enableTranslatedNameRecognize, mergeNumberQuantifier, quickAtomSegment, seg, seg, seg2sentence, simpleAtomSegment

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细资料

CharacterBasedGenerativeModelSegment

public CharacterBasedGenerativeModelSegment()

方法详细资料

guessAttribute

public static CoreDictionary.Attribute guessAttribute(Term term)

查询或猜测一个词语的属性， 先查词典，然后对字母、数字串的属性进行判断，最后猜测未登录词

参数:

term -

返回:

segSentence

protected List<Term> segSentence(char[] sentence)

从类复制的说明: Segment

给一个句子分词

指定者:

segSentence 在类中 Segment

参数:

sentence - 待分词句子

返回:

单词列表

roughSegSentence

protected abstract List<Term> roughSegSentence(char[] sentence)

单纯的分词模型实现该方法，仅输出词

参数:

sentence -

返回:

toVertexList

protected List<Vertex> toVertexList(List<Term> wordList,
                                    boolean appendStart)

将中间结果转换为词网顶点, 这样就可以利用基于Vertex开发的功能, 如词性标注、NER等

参数:

wordList -

appendStart -

返回:

convert

protected static List<Term> convert(List<Vertex> vertexList,
                                    boolean offsetEnabled)

将一条路径转为最终结果

参数:

vertexList -

offsetEnabled - 是否计算offset

返回: