com.hankcs.hanlp

Class HanLP

java.lang.Object

com.hankcs.hanlp.HanLP

public class HanLP
extends Object

HanLP: Han Language Processing
汉语言处理包
常用接口工具类

Author:

hankcs

Nested Class Summary

Nested Classes

Modifier and Type	Class and Description
static class	HanLP.Config 库的全局配置，既可以用代码修改，也可以通过hanlp.properties配置（按照 变量名=值 的形式）

Method Summary

Modifier and Type	Method and Description
static String	convertToPinyinFirstCharString(String text, String separator, boolean remainNone) 转化为拼音（首字母）
static List<Pinyin>	convertToPinyinList(String text) 转化为拼音
static String	convertToPinyinString(String text, String separator, boolean remainNone) 转化为拼音
static String	convertToSimplifiedChinese(String traditionalChineseString) 繁转简
static String	convertToTraditionalChinese(String simplifiedChineseString) 简转繁
static List<String>	extractKeyword(String document, int size) 提取关键词
static List<String>	extractPhrase(String text, int size) 提取短语
static List<String>	extractSummary(String document, int size) 自动摘要 分割目标文档时的默认句子分割符为，,。:：“”？?！!；;
static List<String>	extractSummary(String document, int size, String sentence_separator) 自动摘要
static List<WordInfo>	extractWords(BufferedReader reader, int size) 提取词语
static List<WordInfo>	extractWords(BufferedReader reader, int size, boolean newWordsOnly) 提取词语（新词发现）
static List<WordInfo>	extractWords(BufferedReader reader, int size, boolean newWordsOnly, int max_word_len, float min_freq, float min_entropy, float min_aggregation) 提取词语（新词发现）
static List<WordInfo>	extractWords(String text, int size) 提取词语
static List<WordInfo>	extractWords(String text, int size, boolean newWordsOnly) 提取词语（新词发现）
static String	getSummary(String document, int max_length) 自动摘要 分割目标文档时的默认句子分割符为，,。:：“”？?！!；;
static String	getSummary(String document, int max_length, String sentence_separator) 自动摘要
static String	hk2s(String hk) 香港繁體到簡體
static String	hk2t(String hk) 香港繁體到繁體
static String	hk2tw(String hk) 香港繁體到臺灣正體
static Segment	newSegment() 创建一个分词器 这是一个工厂方法 与直接new一个分词器相比，使用本方法的好处是，以后HanLP升级了，总能用上最合适的分词器
static Segment	newSegment(String algorithm) 创建一个分词器， 这是一个工厂方法
static CoNLLSentence	parseDependency(String sentence) 依存文法分析
static String	s2hk(String s) 簡體到香港繁體
static String	s2t(String s) 简转繁,是convertToTraditionalChinese(java.lang.String)的简称
static String	s2tw(String s) 簡體到臺灣正體
static List<Term>	segment(String text) 分词
static String	t2hk(String t) 繁體到香港繁體
static String	t2s(String t) 繁转简,是convertToSimplifiedChinese(String)的简称
static String	t2tw(String t) 繁體到臺灣正體
static String	tw2hk(String tw) 臺灣正體到香港繁體
static String	tw2s(String tw) 臺灣正體到簡體
static String	tw2t(String tw) 臺灣正體到繁體

Methods inherited from class java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

Method Detail

convertToSimplifiedChinese

public static String convertToSimplifiedChinese(String traditionalChineseString)

繁转简

Parameters:

traditionalChineseString - 繁体中文

Returns:

简体中文

convertToTraditionalChinese

public static String convertToTraditionalChinese(String simplifiedChineseString)

简转繁

Parameters:

simplifiedChineseString - 简体中文

Returns:

繁体中文

s2t

public static String s2t(String s)

简转繁,是convertToTraditionalChinese(java.lang.String)的简称

Parameters:

s - 简体中文

Returns:

繁体中文(大陆标准)

t2s

public static String t2s(String t)

繁转简,是convertToSimplifiedChinese(String)的简称

Parameters:

t - 繁体中文(大陆标准)

Returns:

简体中文

s2tw

public static String s2tw(String s)

簡體到臺灣正體

Parameters:

s - 簡體

Returns:

臺灣正體

tw2s

public static String tw2s(String tw)

臺灣正體到簡體

Parameters:

tw - 臺灣正體

Returns:

簡體

s2hk

public static String s2hk(String s)

簡體到香港繁體

Parameters:

s - 簡體

Returns:

香港繁體

hk2s

public static String hk2s(String hk)

香港繁體到簡體

Parameters:

hk - 香港繁體

Returns:

簡體

t2tw

public static String t2tw(String t)

繁體到臺灣正體

Parameters:

t - 繁體

Returns:

臺灣正體

tw2t

public static String tw2t(String tw)

臺灣正體到繁體

Parameters:

tw - 臺灣正體

Returns:

繁體

t2hk

public static String t2hk(String t)

繁體到香港繁體

Parameters:

t - 繁體

Returns:

香港繁體

hk2t

public static String hk2t(String hk)

香港繁體到繁體

Parameters:

hk - 香港繁體

Returns:

繁體

hk2tw

public static String hk2tw(String hk)

香港繁體到臺灣正體

Parameters:

hk - 香港繁體

Returns:

臺灣正體

tw2hk

public static String tw2hk(String tw)

臺灣正體到香港繁體

Parameters:

tw - 臺灣正體

Returns:

香港繁體

convertToPinyinString

public static String convertToPinyinString(String text,
                                           String separator,
                                           boolean remainNone)

转化为拼音

Parameters:

text - 文本

separator - 分隔符

remainNone - 有些字没有拼音（如标点），是否保留它们的拼音（true用none表示，false用原字符表示）

Returns:

一个字符串，由[拼音][分隔符][拼音]构成

convertToPinyinList

public static List<Pinyin> convertToPinyinList(String text)

转化为拼音

Parameters:

text - 待解析的文本

Returns:

一个拼音列表

convertToPinyinFirstCharString

public static String convertToPinyinFirstCharString(String text,
                                                    String separator,
                                                    boolean remainNone)

转化为拼音（首字母）

Parameters:

text - 文本

separator - 分隔符

remainNone - 有些字没有拼音（如标点），是否保留它们（用none表示）

Returns:

一个字符串，由[首字母][分隔符][首字母]构成

segment

public static List<Term> segment(String text)

分词

Parameters:

text - 文本

Returns:

切分后的单词

newSegment

public static Segment newSegment()

创建一个分词器
这是一个工厂方法
与直接new一个分词器相比，使用本方法的好处是，以后HanLP升级了，总能用上最合适的分词器

Returns:

一个分词器

newSegment

public static Segment newSegment(String algorithm)

创建一个分词器， 这是一个工厂方法

Parameters:

algorithm - 分词算法，传入算法的中英文名都可以，可选列表：

• 维特比 (viterbi)：效率和效果的最佳平衡
• 双数组trie树 (dat)：极速词典分词，千万字符每秒
• 条件随机场 (crf)：分词、词性标注与命名实体识别精度都较高，适合要求较高的NLP任务
• 感知机 (perceptron)：分词、词性标注与命名实体识别，支持在线学习
• N最短路 (nshort)：命名实体识别稍微好一些，牺牲了速度

Returns:

一个分词器

parseDependency

public static CoNLLSentence parseDependency(String sentence)

依存文法分析

Parameters:

sentence - 待分析的句子

Returns:

CoNLL格式的依存关系树

extractPhrase

public static List<String> extractPhrase(String text,
                                         int size)

提取短语

Parameters:

text - 文本

size - 需要多少个短语

Returns:

一个短语列表，大小 <= size

extractWords

public static List<WordInfo> extractWords(String text,
                                          int size)

提取词语

Parameters:

text - 大文本

size - 需要提取词语的数量

Returns:

一个词语列表

extractWords

public static List<WordInfo> extractWords(BufferedReader reader,
                                          int size)
                                   throws IOException

提取词语

Parameters:

reader - 从reader获取文本

size - 需要提取词语的数量

Returns:

一个词语列表

Throws:

IOException

extractWords

public static List<WordInfo> extractWords(String text,
                                          int size,
                                          boolean newWordsOnly)

提取词语（新词发现）

Parameters:

text - 大文本

size - 需要提取词语的数量

newWordsOnly - 是否只提取词典中没有的词语

Returns:

一个词语列表

extractWords

public static List<WordInfo> extractWords(BufferedReader reader,
                                          int size,
                                          boolean newWordsOnly)
                                   throws IOException

提取词语（新词发现）

Parameters:

reader - 从reader获取文本

size - 需要提取词语的数量

newWordsOnly - 是否只提取词典中没有的词语

Returns:

一个词语列表

Throws:

IOException

extractWords

public static List<WordInfo> extractWords(BufferedReader reader,
                                          int size,
                                          boolean newWordsOnly,
                                          int max_word_len,
                                          float min_freq,
                                          float min_entropy,
                                          float min_aggregation)
                                   throws IOException

提取词语（新词发现）

Parameters:

reader - 从reader获取文本

size - 需要提取词语的数量

newWordsOnly - 是否只提取词典中没有的词语

max_word_len - 词语最长长度

min_freq - 词语最低频率

min_entropy - 词语最低熵

min_aggregation - 词语最低互信息

Returns:

一个词语列表

Throws:

IOException

extractKeyword

public static List<String> extractKeyword(String document,
                                          int size)

提取关键词

Parameters:

document - 文档内容

size - 希望提取几个关键词

Returns:

一个列表

extractSummary

public static List<String> extractSummary(String document,
                                          int size)

自动摘要 分割目标文档时的默认句子分割符为，,。:：“”？?！!；;

Parameters:

document - 目标文档

size - 需要的关键句的个数

Returns:

关键句列表

getSummary

public static String getSummary(String document,
                                int max_length)

自动摘要 分割目标文档时的默认句子分割符为，,。:：“”？?！!；;

Parameters:

document - 目标文档

max_length - 需要摘要的长度

Returns:

摘要文本

extractSummary

public static List<String> extractSummary(String document,
                                          int size,
                                          String sentence_separator)

自动摘要

Parameters:

document - 目标文档

size - 需要的关键句的个数

sentence_separator - 分割目标文档时的句子分割符，正则格式， 如：[。？?！!；;]

Returns:

关键句列表

getSummary

public static String getSummary(String document,
                                int max_length,
                                String sentence_separator)

自动摘要

Parameters:

document - 目标文档

max_length - 需要摘要的长度

sentence_separator - 分割目标文档时的句子分割符，正则格式， 如：[。？?！!；;]

Returns:

摘要文本