com.hankcs.hanlp.classification.corpus

接口 IDataSet

所有超级接口:

Iterable<Document>

所有已知实现类:

AbstractDataSet, FileDataSet, MemoryDataSet

public interface IDataSet
extends Iterable<Document>

文本分类数据集接口

作者:

hankcs

方法概要

限定符和类型	方法和说明
IDataSet	add(Map<String,String[]> testingDataSet)
Document	add(String category, String text) 往训练集中加入一个文档
void	clear() 清空数据集
Document	convert(String category, String text) 利用本数据集的词表和类目表将文本形式的文档转换为内部通用的文档
Catalog	getCatalog() 获取类目表
Lexicon	getLexicon() 获取词表
ITokenizer	getTokenizer() 获取分词器
boolean	isTestingDataSet() 是否是测试集
IDataSet	load(String folderPath) 加载数据集
IDataSet	load(String folderPath, double rate)
IDataSet	load(String folderPath, String charsetName) 加载数据集
IDataSet	load(String folderPath, String charsetName, double percentage)
IDataSet	setTokenizer(ITokenizer tokenizer) 设置分词器
IDataSet	shrink(int[] idMap)
int	size() 数据集的样本大小

从接口继承的方法 java.lang.Iterable

forEach, iterator, spliterator

方法详细资料

load

IDataSet load(String folderPath)
       throws IllegalArgumentException,
              IOException

加载数据集

参数:

folderPath - 分类语料的根目录.目录必须满足如下结构:
根目录
├── 分类A
│ └── 1.txt
│ └── 2.txt
│ └── 3.txt
├── 分类B
│ └── 1.txt
│ └── ...
└── ...
文件不一定需要用数字命名,也不需要以txt作为后缀名,但一定需要是文本文件.

返回:

抛出:

IllegalArgumentException

IOException

load

IDataSet load(String folderPath,
              double rate)
       throws IllegalArgumentException,
              IOException

抛出:

IllegalArgumentException

IOException

load

IDataSet load(String folderPath,
              String charsetName)
       throws IllegalArgumentException,
              IOException

加载数据集

参数:

folderPath - 分类语料的根目录.目录必须满足如下结构:
根目录
├── 分类A
│ └── 1.txt
│ └── 2.txt
│ └── 3.txt
├── 分类B
│ └── 1.txt
│ └── ...
└── ...
文件不一定需要用数字命名,也不需要以txt作为后缀名,但一定需要是文本文件.

charsetName - 文件编码

返回:

抛出:

IllegalArgumentException

IOException

load

IDataSet load(String folderPath,
              String charsetName,
              double percentage)
       throws IllegalArgumentException,
              IOException

抛出:

IllegalArgumentException

IOException

add

Document add(String category,
             String text)

往训练集中加入一个文档

参数:

category - 分类

text - 文本

返回:

convert

Document convert(String category,
                 String text)

利用本数据集的词表和类目表将文本形式的文档转换为内部通用的文档

参数:

category -

text -

返回:

setTokenizer

IDataSet setTokenizer(ITokenizer tokenizer)

设置分词器

参数:

tokenizer -

返回:

size

int size()

数据集的样本大小

返回:

getTokenizer

ITokenizer getTokenizer()

获取分词器

返回:

getCatalog

Catalog getCatalog()

获取类目表

返回:

getLexicon

Lexicon getLexicon()

获取词表

返回:

clear

void clear()

清空数据集

isTestingDataSet

boolean isTestingDataSet()

是否是测试集

返回:

add

IDataSet add(Map<String,String[]> testingDataSet)

shrink

IDataSet shrink(int[] idMap)