com.hankcs.hanlp.tokenizer.lexical

类 AbstractLexicalAnalyzer

java.lang.Object

com.hankcs.hanlp.seg.Segment

com.hankcs.hanlp.seg.CharacterBasedSegment

com.hankcs.hanlp.tokenizer.lexical.AbstractLexicalAnalyzer

所有已实现的接口:

LexicalAnalyzer, NERecognizer, POSTagger, Segmenter

直接已知子类:

CRFLexicalAnalyzer, HMMLexicalAnalyzer, PerceptronLexicalAnalyzer

public class AbstractLexicalAnalyzer
extends CharacterBasedSegment
implements LexicalAnalyzer

词法分析器基类（中文分词、词性标注和命名实体识别）

作者:

hankcs

字段概要

字段

限定符和类型	字段和说明
protected boolean	enableRuleBasedSegment 是否执行规则分词（英文数字标点等的规则预处理）。
protected NERecognizer	neRecognizer
protected POSTagger	posTagger
protected Segmenter	segmenter
protected static byte[]	typeTable 字符类型表

从类继承的字段 com.hankcs.hanlp.seg.Segment

config

构造器概要

构造器

限定符	构造器和说明
protected	AbstractLexicalAnalyzer()
	AbstractLexicalAnalyzer(Segmenter segmenter)
	AbstractLexicalAnalyzer(Segmenter segmenter, POSTagger posTagger)
	AbstractLexicalAnalyzer(Segmenter segmenter, POSTagger posTagger, NERecognizer neRecognizer)

方法概要

限定符和类型	方法和说明
protected boolean	acceptCustomWord(int begin, int end, CoreDictionary.Attribute value) 已过时。 自1.6.7起废弃，强制模式下为最长匹配，否则按分词结果合并
Sentence	analyze(String sentence) 对句子进行词法分析
protected static List<CoreDictionary.Attribute>	combineWithCustomDictionary(List<String> vertexList) 使用用户词典合并粗分结果
AbstractLexicalAnalyzer	enableRuleBasedSegment(boolean enableRuleBasedSegment) 是否执行规则分词（英文数字标点等的规则预处理）。
NERTagSet	getNERTagSet()
String[]	recognize(String[] wordArray, String[] posArray) 命名实体识别
protected List<Term>	roughSegSentence(char[] sentence) 单纯的分词模型实现该方法，仅输出词
List<String>	segment(String sentence) 中文分词
List<String>	segment(String sentence, String normalized) 这个方法会查询用户词典
void	segment(String sentence, String normalized, List<String> wordList)
protected void	segment(String sentence, String normalized, List<String> wordList, List<CoreDictionary.Attribute> attributeList) 分词
protected void	segmentAfterRule(String sentence, String normalized, List<String> wordList) 丑陋的规则系统
protected List<Term>	segSentence(char[] sentence) 以下方法用于纯分词模型 分词、词性标注联合模型则直接重载segSentence
String[]	tag(List<String> wordList) 词性标注
String[]	tag(String... words) 词性标注

从类继承的方法 com.hankcs.hanlp.seg.CharacterBasedSegment

guessAttribute, toVertexList

从类继承的方法 com.hankcs.hanlp.seg.Segment

atomSegment, combineByCustomDictionary, combineByCustomDictionary, combineByCustomDictionary, combineByCustomDictionary, convert, enableAllNamedEntityRecognize, enableCustomDictionary, enableCustomDictionaryForcing, enableIndexMode, enableIndexMode, enableJapaneseNameRecognize, enableMultithreading, enableMultithreading, enableNameRecognize, enableNumberQuantifierRecognize, enableOffset, enableOrganizationRecognize, enablePartOfSpeechTagging, enablePlaceRecognize, enableTranslatedNameRecognize, mergeNumberQuantifier, quickAtomSegment, seg, seg, seg2sentence, seg2sentence, simpleAtomSegment

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

字段详细资料

segmenter

protected Segmenter segmenter

posTagger

protected POSTagger posTagger

neRecognizer

protected NERecognizer neRecognizer

typeTable

protected static byte[] typeTable

字符类型表

enableRuleBasedSegment

protected boolean enableRuleBasedSegment

是否执行规则分词（英文数字标点等的规则预处理）。规则永远是丑陋的，默认关闭。

构造器详细资料

AbstractLexicalAnalyzer

protected AbstractLexicalAnalyzer()

AbstractLexicalAnalyzer

public AbstractLexicalAnalyzer(Segmenter segmenter)

AbstractLexicalAnalyzer

public AbstractLexicalAnalyzer(Segmenter segmenter,
                               POSTagger posTagger)

AbstractLexicalAnalyzer

public AbstractLexicalAnalyzer(Segmenter segmenter,
                               POSTagger posTagger,
                               NERecognizer neRecognizer)

方法详细资料

segment

protected void segment(String sentence,
                       String normalized,
                       List<String> wordList,
                       List<CoreDictionary.Attribute> attributeList)

分词

参数:

sentence - 文本

normalized - 正规化后的文本

wordList - 储存单词列表

attributeList - 储存用户词典中的词性，设为null表示不查询用户词典

segment

public void segment(String sentence,
                    String normalized,
                    List<String> wordList)

指定者:

segment 在接口中 Segmenter

segment

public List<String> segment(String sentence)

中文分词

指定者:

segment 在接口中 Segmenter

参数:

sentence -

返回:

recognize

public String[] recognize(String[] wordArray,
                          String[] posArray)

从接口复制的说明: NERecognizer

命名实体识别

指定者:

recognize 在接口中 NERecognizer

参数:

wordArray - 单词

posArray - 词性

返回:

BMES-NER标签

tag

public String[] tag(String... words)

从接口复制的说明: POSTagger

词性标注

指定者:

tag 在接口中 POSTagger

参数:

words - 单词

返回:

词性数组

tag

public String[] tag(List<String> wordList)

从接口复制的说明: POSTagger

词性标注

指定者:

tag 在接口中 POSTagger

参数:

wordList - 单词

返回:

词性数组

getNERTagSet

public NERTagSet getNERTagSet()

指定者:

getNERTagSet 在接口中 NERecognizer

analyze

public Sentence analyze(String sentence)

从接口复制的说明: LexicalAnalyzer

对句子进行词法分析

指定者:

analyze 在接口中 LexicalAnalyzer

参数:

sentence - 纯文本句子

返回:

HanLP定义的结构化句子

segment

public List<String> segment(String sentence,
                            String normalized)

这个方法会查询用户词典

参数:

sentence -

normalized -

返回:

acceptCustomWord

protected boolean acceptCustomWord(int begin,
                                   int end,
                                   CoreDictionary.Attribute value)

已过时。 自1.6.7起废弃，强制模式下为最长匹配，否则按分词结果合并

分词时查询到一个用户词典中的词语，此处控制是否接受它

参数:

begin - 起始位置

end - 终止位置

value - 词性

返回:

true 表示接受

roughSegSentence

protected List<Term> roughSegSentence(char[] sentence)

从类复制的说明: CharacterBasedSegment

单纯的分词模型实现该方法，仅输出词

指定者:

roughSegSentence 在类中 CharacterBasedSegment

返回:

segSentence

protected List<Term> segSentence(char[] sentence)

从类复制的说明: CharacterBasedSegment

以下方法用于纯分词模型 分词、词性标注联合模型则直接重载segSentence

覆盖:

segSentence 在类中 CharacterBasedSegment

参数:

sentence - 待分词句子

返回:

单词列表

segmentAfterRule

protected void segmentAfterRule(String sentence,
                                String normalized,
                                List<String> wordList)

丑陋的规则系统

参数:

sentence -

normalized -

wordList -

combineWithCustomDictionary

protected static List<CoreDictionary.Attribute> combineWithCustomDictionary(List<String> vertexList)

使用用户词典合并粗分结果

参数:

vertexList - 粗分结果

返回:

合并后的结果

enableRuleBasedSegment

public AbstractLexicalAnalyzer enableRuleBasedSegment(boolean enableRuleBasedSegment)

是否执行规则分词（英文数字标点等的规则预处理）。规则永远是丑陋的，默认关闭。

参数:

enableRuleBasedSegment - 是否激活

返回:

词法分析器对象