com.hankcs.hanlp.classification.utilities

类 TextProcessUtility

java.lang.Object

com.hankcs.hanlp.classification.utilities.TextProcessUtility

public class TextProcessUtility
extends Object

文件预处理工具

构造器概要

构造器

构造器和说明
TextProcessUtility()

方法概要

限定符和类型	方法和说明
static String[]	extractKeywords(String text) 提取关键词，在真实的应用场景中，还应该涉及到短语
static Map<String,Integer>	getKeywordCounts(String[] keywordArray) 统计每个词的词频
static Map<String,String[]>	loadCorpus(String path) 加载一个文件夹下的所有语料
static Map<String,String[]>	loadCorpusWithException(String corpusPath)
static Map<String,String[]>	loadCorpusWithException(String folderPath, String charsetName) 加载一个文件夹下的所有语料
static String	preprocess(String text) 预处理，去除标点，空格和停用词
static String	readTxt(File file, String charsetName)

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细资料

TextProcessUtility

public TextProcessUtility()

方法详细资料

preprocess

public static String preprocess(String text)

预处理，去除标点，空格和停用词

参数:

text -

返回:

extractKeywords

public static String[] extractKeywords(String text)

提取关键词，在真实的应用场景中，还应该涉及到短语

参数:

text -

返回:

getKeywordCounts

public static Map<String,Integer> getKeywordCounts(String[] keywordArray)

统计每个词的词频

参数:

keywordArray -

返回:

loadCorpus

public static Map<String,String[]> loadCorpus(String path)

加载一个文件夹下的所有语料

参数:

path -

返回:

loadCorpusWithException

public static Map<String,String[]> loadCorpusWithException(String folderPath,
                                                           String charsetName)
                                                    throws IOException

加载一个文件夹下的所有语料

参数:

folderPath -

返回:

抛出:

IOException

readTxt

public static String readTxt(File file,
                             String charsetName)
                      throws IOException

抛出:

IOException

loadCorpusWithException

public static Map<String,String[]> loadCorpusWithException(String corpusPath)
                                                    throws IOException

抛出:

IOException