com.hankcs.hanlp.classification.corpus

类 AbstractDataSet

java.lang.Object

com.hankcs.hanlp.classification.corpus.AbstractDataSet

所有已实现的接口:

IDataSet, Iterable<Document>

直接已知子类:

FileDataSet, MemoryDataSet

public abstract class AbstractDataSet
extends Object
implements IDataSet

作者:

hankcs

字段概要

字段

限定符和类型	字段和说明
protected Catalog	catalog
protected Lexicon	lexicon
protected boolean	testingDataSet 是否属于测试集
protected ITokenizer	tokenizer

构造器概要

构造器

构造器和说明
AbstractDataSet()
AbstractDataSet(AbstractModel model) 构造测试集

方法概要

限定符和类型	方法和说明
IDataSet	add(Map<String,String[]> testingDataSet)
Document	convert(String category, String text) 利用本数据集的词表和类目表将文本形式的文档转换为内部通用的文档
Catalog	getCatalog() 获取类目表
Lexicon	getLexicon() 获取词表
ITokenizer	getTokenizer() 获取分词器
boolean	isTestingDataSet() 是否是测试集
IDataSet	load(String folderPath) 加载数据集
IDataSet	load(String folderPath, double rate)
IDataSet	load(String folderPath, String charsetName) 加载数据集
IDataSet	load(String folderPath, String charsetName, double percentage)
IDataSet	setTokenizer(ITokenizer tokenizer) 设置分词器

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

从接口继承的方法 com.hankcs.hanlp.classification.corpus.IDataSet

add, clear, shrink, size

从接口继承的方法 java.lang.Iterable

forEach, iterator, spliterator

字段详细资料

tokenizer

protected ITokenizer tokenizer

catalog

protected Catalog catalog

lexicon

protected Lexicon lexicon

testingDataSet

protected boolean testingDataSet

是否属于测试集

构造器详细资料

AbstractDataSet

public AbstractDataSet(AbstractModel model)

构造测试集

参数:

model - 待测试的模型

AbstractDataSet

public AbstractDataSet()

方法详细资料

setTokenizer

public IDataSet setTokenizer(ITokenizer tokenizer)

从接口复制的说明: IDataSet

设置分词器

指定者:

setTokenizer 在接口中 IDataSet

返回:

convert

public Document convert(String category,
                        String text)

从接口复制的说明: IDataSet

利用本数据集的词表和类目表将文本形式的文档转换为内部通用的文档

指定者:

convert 在接口中 IDataSet

返回:

getTokenizer

public ITokenizer getTokenizer()

从接口复制的说明: IDataSet

获取分词器

指定者:

getTokenizer 在接口中 IDataSet

返回:

getCatalog

public Catalog getCatalog()

从接口复制的说明: IDataSet

获取类目表

指定者:

getCatalog 在接口中 IDataSet

返回:

getLexicon

public Lexicon getLexicon()

从接口复制的说明: IDataSet

获取词表

指定者:

getLexicon 在接口中 IDataSet

返回:

load

public IDataSet load(String folderPath,
                     String charsetName)
              throws IllegalArgumentException,
                     IOException

从接口复制的说明: IDataSet

加载数据集

指定者:

load 在接口中 IDataSet

参数:

folderPath - 分类语料的根目录.目录必须满足如下结构:
根目录
├── 分类A
│ └── 1.txt
│ └── 2.txt
│ └── 3.txt
├── 分类B
│ └── 1.txt
│ └── ...
└── ...
文件不一定需要用数字命名,也不需要以txt作为后缀名,但一定需要是文本文件.

charsetName - 文件编码

返回:

抛出:

IllegalArgumentException

IOException

load

public IDataSet load(String folderPath)
              throws IllegalArgumentException,
                     IOException

从接口复制的说明: IDataSet

加载数据集

指定者:

load 在接口中 IDataSet

参数:

folderPath - 分类语料的根目录.目录必须满足如下结构:
根目录
├── 分类A
│ └── 1.txt
│ └── 2.txt
│ └── 3.txt
├── 分类B
│ └── 1.txt
│ └── ...
└── ...
文件不一定需要用数字命名,也不需要以txt作为后缀名,但一定需要是文本文件.

返回:

抛出:

IllegalArgumentException

IOException

isTestingDataSet

public boolean isTestingDataSet()

从接口复制的说明: IDataSet

是否是测试集

指定者:

isTestingDataSet 在接口中 IDataSet

返回:

load

public IDataSet load(String folderPath,
                     String charsetName,
                     double percentage)
              throws IllegalArgumentException,
                     IOException

指定者:

load 在接口中 IDataSet

抛出:

IllegalArgumentException

IOException

load

public IDataSet load(String folderPath,
                     double rate)
              throws IllegalArgumentException,
                     IOException

指定者:

load 在接口中 IDataSet

抛出:

IllegalArgumentException

IOException

add

public IDataSet add(Map<String,String[]> testingDataSet)

指定者:

add 在接口中 IDataSet