com.hankcs.hanlp.mining.word

Class TfIdf

java.lang.Object

com.hankcs.hanlp.mining.word.TfIdf

public class TfIdf
extends Object

词频-倒排文档词频统计

Nested Class Summary

Nested Classes

Modifier and Type	Class and Description
static class	TfIdf.Normalization tf-idf 向量的正规化算法
static class	TfIdf.TfType 词频统计方式

Constructor Summary

Constructors

Constructor and Description
TfIdf()

Method Summary

Modifier and Type	Method and Description
static <TERM> Map<TERM,Double>	idf(Iterable<Iterable<TERM>> documentVocabularies) 平滑处理后的一系列文档的倒排词频
static <TERM> Map<TERM,Double>	idf(Iterable<Iterable<TERM>> documentVocabularies, boolean smooth, boolean addOne) 一系列文档的倒排词频
static <TERM> Map<TERM,Double>	idfFromTfs(Iterable<Map<TERM,Double>> tfs) 从词频集合建立倒排频率（默认平滑词频，且加一平滑tf-idf）
static <TERM> Map<TERM,Double>	idfFromTfs(Iterable<Map<TERM,Double>> tfs, boolean smooth, boolean addOne) 从词频集合建立倒排频率
static <TERM> Map<TERM,Double>	tf(Collection<TERM> document) 单文档词频
static <TERM> Map<TERM,Double>	tf(Collection<TERM> document, TfIdf.TfType type) 单文档词频
static <TERM> Map<TERM,Double>	tfIdf(Map<TERM,Double> tf, Map<TERM,Double> idf) 计算文档的tf-idf（不正规化）
static <TERM> Map<TERM,Double>	tfIdf(Map<TERM,Double> tf, Map<TERM,Double> idf, TfIdf.Normalization normalization) 计算文档的tf-idf
static <TERM> Iterable<Map<TERM,Double>>	tfs(Iterable<Collection<TERM>> documents) 多文档词频
static <TERM> Iterable<Map<TERM,Double>>	tfs(Iterable<Collection<TERM>> documents, TfIdf.TfType type) 多文档词频

Methods inherited from class java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

Constructor Detail

TfIdf

public TfIdf()

Method Detail

tf

public static <TERM> Map<TERM,Double> tf(Collection<TERM> document,
                                         TfIdf.TfType type)

单文档词频

Type Parameters:

TERM - 词语类型

Parameters:

document - 词袋

type - 词频计算方式

Returns:

一个包含词频的Map

tf

public static <TERM> Map<TERM,Double> tf(Collection<TERM> document)

单文档词频

Type Parameters:

TERM - 词语类型

Parameters:

document - 词袋

Returns:

一个包含词频的Map

tfs

public static <TERM> Iterable<Map<TERM,Double>> tfs(Iterable<Collection<TERM>> documents,
                                                    TfIdf.TfType type)

多文档词频

Type Parameters:

TERM - 词语类型

Parameters:

documents - 多个文档，每个文档都是一个词袋

type - 词频计算方式

Returns:

一个包含词频的Map的列表

tfs

public static <TERM> Iterable<Map<TERM,Double>> tfs(Iterable<Collection<TERM>> documents)

多文档词频

Type Parameters:

TERM - 词语类型

Parameters:

documents - 多个文档，每个文档都是一个词袋

Returns:

一个包含词频的Map的列表

idf

public static <TERM> Map<TERM,Double> idf(Iterable<Iterable<TERM>> documentVocabularies,
                                          boolean smooth,
                                          boolean addOne)

一系列文档的倒排词频

Type Parameters:

TERM - 词语类型

Parameters:

documentVocabularies - 词表

smooth - 平滑参数，视作额外有一个文档，该文档含有smooth个每个词语

addOne - tf-idf加一平滑

Returns:

一个词语->倒排文档的Map

idf

public static <TERM> Map<TERM,Double> idf(Iterable<Iterable<TERM>> documentVocabularies)

平滑处理后的一系列文档的倒排词频

Type Parameters:

TERM - 词语类型

Parameters:

documentVocabularies - 词表

Returns:

一个词语->倒排文档的Map

tfIdf

public static <TERM> Map<TERM,Double> tfIdf(Map<TERM,Double> tf,
                                            Map<TERM,Double> idf,
                                            TfIdf.Normalization normalization)

计算文档的tf-idf

Type Parameters:

TERM - 词语类型

Parameters:

tf - 词频

idf - 倒排频率

normalization - 正规化

Returns:

一个词语->tf-idf的Map

tfIdf

public static <TERM> Map<TERM,Double> tfIdf(Map<TERM,Double> tf,
                                            Map<TERM,Double> idf)

计算文档的tf-idf（不正规化）

Type Parameters:

TERM - 词语类型

Parameters:

tf - 词频

idf - 倒排频率

Returns:

一个词语->tf-idf的Map

idfFromTfs

public static <TERM> Map<TERM,Double> idfFromTfs(Iterable<Map<TERM,Double>> tfs,
                                                 boolean smooth,
                                                 boolean addOne)

从词频集合建立倒排频率

Type Parameters:

TERM - 词语类型

Parameters:

tfs - 次品集合

smooth - 平滑参数，视作额外有一个文档，该文档含有smooth个每个词语

addOne - tf-idf加一平滑

Returns:

一个词语->倒排文档的Map

idfFromTfs

public static <TERM> Map<TERM,Double> idfFromTfs(Iterable<Map<TERM,Double>> tfs)

从词频集合建立倒排频率（默认平滑词频，且加一平滑tf-idf）

Type Parameters:

TERM - 词语类型

Parameters:

tfs - 次品集合

Returns:

一个词语->倒排文档的Map