A B C D E F G H I L M N O P R S T U V W Z

A

addChildNode(DagNode) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.DagNode

addParentNode(DagNode) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.DagNode

adjustRDDToGenerateExactNumUpdates(JavaRDD<GenericRecord>, JavaSparkContext, long) - 类 中的方法org.apache.hudi.integ.testsuite.generator.DeltaGenerator

analyzeSingleFile(String) - 类 中的方法org.apache.hudi.integ.testsuite.reader.DFSAvroDeltaInputReader

analyzeSingleFile(String) - 类 中的方法org.apache.hudi.integ.testsuite.reader.DFSDeltaInputReader

Implementation of DeltaInputReaders to provide a way to read a single file on DFS and provide an average number of records across N files.

analyzeSingleFile(String) - 类 中的方法org.apache.hudi.integ.testsuite.reader.DFSHoodieDatasetInputReader

AVRO_EXTENSION - 类 中的静态变量org.apache.hudi.integ.testsuite.writer.AvroFileDeltaInputWriter

AvroFileDeltaInputWriter - org.apache.hudi.integ.testsuite.writer中的类

Implementation of DeltaInputWriter that writes avro records to the result file.

AvroFileDeltaInputWriter(Configuration, String, String, Long) - 类 的构造器org.apache.hudi.integ.testsuite.writer.AvroFileDeltaInputWriter

B

BaseValidateDatasetNode - org.apache.hudi.integ.testsuite.dag.nodes中的类

This nodes validates contents from input path are in tact with Hudi.

BaseValidateDatasetNode(DeltaConfig.Config) - 类 的构造器org.apache.hudi.integ.testsuite.dag.nodes.BaseValidateDatasetNode

build() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

build() - 类 中的方法org.apache.hudi.integ.testsuite.dag.SimpleWorkflowDagGenerator

build() - 接口 中的方法org.apache.hudi.integ.testsuite.dag.WorkflowDagGenerator

Builds a WorkflowDag.

Builder() - 类 的构造器org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

bulkInsert() - 类 中的方法org.apache.hudi.integ.testsuite.HoodieDeltaStreamerWrapper

bulkInsert(Option<String>) - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

BulkInsertNode - org.apache.hudi.integ.testsuite.dag.nodes中的类

Represents a bulk insert node in the DAG of operations for a workflow.

BulkInsertNode(DeltaConfig.Config) - 类 的构造器org.apache.hudi.integ.testsuite.dag.nodes.BulkInsertNode

C

canWrite() - 类 中的方法org.apache.hudi.integ.testsuite.writer.AvroFileDeltaInputWriter

canWrite() - 接口 中的方法org.apache.hudi.integ.testsuite.writer.DeltaInputWriter

Check whether more data can/should be written.

canWrite() - 类 中的方法org.apache.hudi.integ.testsuite.writer.SparkAvroDeltaInputWriter

cfg - 类 中的变量org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

childNodes - 类 中的变量org.apache.hudi.integ.testsuite.dag.nodes.DagNode

CHILDREN - 类 中的静态变量org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

cleanInput - 类 中的变量org.apache.hudi.integ.testsuite.HoodieTestSuiteJob.HoodieTestSuiteConfig

CleanNode - org.apache.hudi.integ.testsuite.dag.nodes中的类

Represents a clean node in the DAG of operations for a workflow.

CleanNode(DeltaConfig.Config) - 类 的构造器org.apache.hudi.integ.testsuite.dag.nodes.CleanNode

cleanOutput - 类 中的变量org.apache.hudi.integ.testsuite.HoodieTestSuiteJob.HoodieTestSuiteConfig

clone() - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.DagNode

close() - 类 中的方法org.apache.hudi.integ.testsuite.writer.AvroFileDeltaInputWriter

close() - 类 中的方法org.apache.hudi.integ.testsuite.writer.SparkAvroDeltaInputWriter

ClusteringNode - org.apache.hudi.integ.testsuite.dag.nodes中的类

Triggers inline clustering.

ClusteringNode(DeltaConfig.Config) - 类 的构造器org.apache.hudi.integ.testsuite.dag.nodes.ClusteringNode

commit(JavaRDD<WriteStatus>, JavaRDD<DeltaWriteStats>, Option<String>) - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

commitCompaction(JavaRDD<WriteStatus>, JavaRDD<DeltaWriteStats>, Option<String>) - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

compact() - 类 中的方法org.apache.hudi.integ.testsuite.HoodieDeltaStreamerWrapper

compact(Option<String>) - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

CompactNode - org.apache.hudi.integ.testsuite.dag.nodes中的类

Represents a compact node in the DAG of operations for a workflow.

CompactNode(DeltaConfig.Config) - 类 的构造器org.apache.hudi.integ.testsuite.dag.nodes.CompactNode

compareTo(DagNode<O>) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.DagNode

computeNext() - 类 中的方法org.apache.hudi.integ.testsuite.generator.LazyRecordGeneratorIterator

Config(Map<String, Object>) - 类 的构造器org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

config - 类 中的变量org.apache.hudi.integ.testsuite.dag.nodes.DagNode

CONFIG_NAME - 类 中的静态变量org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

convert(JavaRDD<I>) - 接口 中的方法org.apache.hudi.integ.testsuite.converter.Converter

Convert data from one format to another.

convert(JavaRDD<GenericRecord>) - 类 中的方法org.apache.hudi.integ.testsuite.converter.DeleteConverter

convert(JavaRDD<GenericRecord>) - 类 中的方法org.apache.hudi.integ.testsuite.converter.UpdateConverter

convertDagToYaml(WorkflowDag) - 类 中的静态方法org.apache.hudi.integ.testsuite.dag.DagUtils

Converts WorkflowDag to a YAML representation.

Converter<I,O> - org.apache.hudi.integ.testsuite.converter中的接口

Implementations of Converter will convert data from one format to another.

convertPartial(Schema) - 类 中的方法org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

Create a new GenericRecord with random values.

convertYamlPathToDag(FileSystem, String) - 类 中的静态方法org.apache.hudi.integ.testsuite.dag.DagUtils

Converts a YAML path to WorkflowDag.

convertYamlToDag(String) - 类 中的静态方法org.apache.hudi.integ.testsuite.dag.DagUtils

Converts a YAML representation to WorkflowDag.

create(Schema, Set<String>) - 类 中的方法org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

createWorkflowDag() - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteJob

D

DAG_CONTENT - 类 中的静态变量org.apache.hudi.integ.testsuite.dag.DagUtils

DAG_INTERMITTENT_DELAY_MINS - 类 中的静态变量org.apache.hudi.integ.testsuite.dag.DagUtils

DAG_NAME - 类 中的静态变量org.apache.hudi.integ.testsuite.dag.DagUtils

DAG_ROUNDS - 类 中的静态变量org.apache.hudi.integ.testsuite.dag.DagUtils

DagNode<O> - org.apache.hudi.integ.testsuite.dag.nodes中的类

Base abstraction of an compute node in the DAG of operations for a workflow.

DagNode() - 类 的构造器org.apache.hudi.integ.testsuite.dag.nodes.DagNode

DagScheduler - org.apache.hudi.integ.testsuite.dag.scheduler中的类

The Dag scheduler schedules the workflow DAGs.

DagScheduler(WorkflowDag, WriterContext, JavaSparkContext) - 类 的构造器org.apache.hudi.integ.testsuite.dag.scheduler.DagScheduler

DagUtils - org.apache.hudi.integ.testsuite.dag中的类

Utility class to SerDe workflow dag.

DagUtils() - 类 的构造器org.apache.hudi.integ.testsuite.dag.DagUtils

DEFAULT_DAG_NAME - 类 中的静态变量org.apache.hudi.integ.testsuite.dag.DagUtils

DEFAULT_DAG_ROUNDS - 类 中的静态变量org.apache.hudi.integ.testsuite.dag.DagUtils

DEFAULT_HOODIE_IS_DELETED_COL - 类 中的静态变量org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

DEFAULT_INTERMITTENT_DELAY_MINS - 类 中的静态变量org.apache.hudi.integ.testsuite.dag.DagUtils

DEFAULT_NUM_DATE_PARTITIONS - 类 中的静态变量org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

DEFAULT_PAYLOAD_SIZE - 类 中的静态变量org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

DEFAULT_START_PARTITION - 类 中的静态变量org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

DelayNode - org.apache.hudi.integ.testsuite.dag.nodes中的类

Delay Node to add delays between each group of test runs.

DelayNode(int) - 类 的构造器org.apache.hudi.integ.testsuite.dag.nodes.DelayNode

DeleteConverter - org.apache.hudi.integ.testsuite.converter中的类

DeleteConverter(String, int) - 类 的构造器org.apache.hudi.integ.testsuite.converter.DeleteConverter

DeleteGeneratorIterator - org.apache.hudi.integ.testsuite.generator中的类

Lazy delete record generator.

DeleteGeneratorIterator(Iterator<GenericRecord>, String, int) - 类 的构造器org.apache.hudi.integ.testsuite.generator.DeleteGeneratorIterator

DeleteNode - org.apache.hudi.integ.testsuite.dag.nodes中的类

Delete node to assist in issuing deletes.

DeleteNode(DeltaConfig.Config) - 类 的构造器org.apache.hudi.integ.testsuite.dag.nodes.DeleteNode

deleteOldInput - 类 中的变量org.apache.hudi.integ.testsuite.HoodieTestSuiteJob.HoodieTestSuiteConfig

DeltaConfig - org.apache.hudi.integ.testsuite.configuration中的类

Configuration to hold the delta output type and delta input format.

DeltaConfig(DeltaOutputMode, DeltaInputType, SerializableConfiguration) - 类 的构造器org.apache.hudi.integ.testsuite.configuration.DeltaConfig

DeltaConfig.Config - org.apache.hudi.integ.testsuite.configuration中的类

Represents any kind of workload operation for new data.

DeltaConfig.Config.Builder - org.apache.hudi.integ.testsuite.configuration中的类

DeltaGenerator - org.apache.hudi.integ.testsuite.generator中的类

The delta generator generates all types of workloads (insert, update) for the given configs.

DeltaGenerator(DFSDeltaConfig, JavaSparkContext, SparkSession, String, BuiltinKeyGenerator) - 类 的构造器org.apache.hudi.integ.testsuite.generator.DeltaGenerator

DeltaInputReader<O> - org.apache.hudi.integ.testsuite.reader中的接口

Implementations of DeltaInputReader will read the configured input type and provide an RDD of records to the client.

DeltaInputType - org.apache.hudi.integ.testsuite.reader中的枚举

Supported delta input data types.

DeltaInputWriter<I> - org.apache.hudi.integ.testsuite.writer中的接口

Implementations of DeltaInputWriter will be able to generate data.

DeltaOutputMode - org.apache.hudi.integ.testsuite.writer中的枚举

Supported output destination types for the generated delta workload.

DeltaWriterAdapter<I> - org.apache.hudi.integ.testsuite.writer中的接口

Adapter use Delta Writer.

DeltaWriterAdapter.SparkBasedDeltaWriter<J> - org.apache.hudi.integ.testsuite.writer中的接口

DeltaWriterFactory - org.apache.hudi.integ.testsuite.writer中的类

A factory to help instantiate different DeltaWriterAdapters depending on the DeltaOutputMode and DeltaInputType.

DeltaWriteStats - org.apache.hudi.integ.testsuite.writer中的类

This class holds the write statistics for DeltaInputWriter.

DeltaWriteStats() - 类 的构造器org.apache.hudi.integ.testsuite.writer.DeltaWriteStats

deltaWriteStatsRDD - 类 中的变量org.apache.hudi.integ.testsuite.dag.nodes.InsertNode

DEPENDENCIES - 类 中的静态变量org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

DFSAvroDeltaInputReader - org.apache.hudi.integ.testsuite.reader中的类

A reader of DeltaOutputMode.DFS and DeltaInputType.AVRO.

DFSAvroDeltaInputReader(SparkSession, String, String, Option<String>, Option<String>) - 类 的构造器org.apache.hudi.integ.testsuite.reader.DFSAvroDeltaInputReader

DFSDeltaConfig - org.apache.hudi.integ.testsuite.configuration中的类

Configuration to hold details about a DFS based output type, implements DeltaConfig.

DFSDeltaConfig(DeltaOutputMode, DeltaInputType, SerializableConfiguration, String, String, String, Long, int, boolean) - 类 的构造器org.apache.hudi.integ.testsuite.configuration.DFSDeltaConfig

DFSDeltaInputReader - org.apache.hudi.integ.testsuite.reader中的类

This class helps to estimate the number of files to read a given number of total records.

DFSDeltaInputReader() - 类 的构造器org.apache.hudi.integ.testsuite.reader.DFSDeltaInputReader

DFSDeltaWriterAdapter - org.apache.hudi.integ.testsuite.writer中的类

DistributedFileSystem (or LocalFileSystem) based delta generator.

DFSDeltaWriterAdapter(DeltaInputWriter<GenericRecord>, int) - 类 的构造器org.apache.hudi.integ.testsuite.writer.DFSDeltaWriterAdapter

DFSDeltaWriterAdapter(DeltaInputWriter<GenericRecord>) - 类 的构造器org.apache.hudi.integ.testsuite.writer.DFSDeltaWriterAdapter

DFSHoodieDatasetInputReader - org.apache.hudi.integ.testsuite.reader中的类

This class helps to generate updates from an already existing hoodie dataset.

DFSHoodieDatasetInputReader(JavaSparkContext, String, String) - 类 的构造器org.apache.hudi.integ.testsuite.reader.DFSHoodieDatasetInputReader

DFSSparkAvroDeltaWriter - org.apache.hudi.integ.testsuite.writer中的类

NEED TO IMPLEMENT A CUSTOM SPARK PARTITIONER TO ENSURE WE WRITE LARGE ENOUGH AVRO FILES.

DFSSparkAvroDeltaWriter(DeltaInputWriter<JavaRDD<GenericRecord>>) - 类 的构造器org.apache.hudi.integ.testsuite.writer.DFSSparkAvroDeltaWriter

DFSTestSuitePathSelector - org.apache.hudi.integ.testsuite.helpers中的类

A custom dfs path selector used only for the hudi test suite.

DFSTestSuitePathSelector(TypedProperties, Configuration) - 类 的构造器org.apache.hudi.integ.testsuite.helpers.DFSTestSuitePathSelector

disableGenerate(boolean) - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

disableIngest(boolean) - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

E

enableRowWriting() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

end() - 类 中的方法org.apache.hudi.integ.testsuite.generator.LazyRecordGeneratorIterator

equals(Object) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.DagNode

estimate(Schema) - 类 中的方法org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadSizeEstimator

This method estimates the size of the payload if all entries of this payload were populated with one value.

execute(ExecutionContext, int) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.BaseValidateDatasetNode

execute(ExecutionContext, int) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.CleanNode

execute(ExecutionContext, int) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.ClusteringNode

execute(ExecutionContext, int) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.CompactNode

Method helps to start the compact operation.

execute(ExecutionContext, int) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.DagNode

Execute the DagNode.

execute(ExecutionContext, int) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.DelayNode

execute(ExecutionContext, int) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.HiveQueryNode

execute(ExecutionContext, int) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.HiveSyncNode

execute(ExecutionContext, int) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.InsertNode

execute(ExecutionContext, int) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.RollbackNode

Method helps to rollback the last commit instant in the timeline, if it has one.

execute(ExecutionContext, int) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.ScheduleCompactNode

execute(ExecutionContext, int) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.SparkSQLQueryNode

Method helps to execute a sparkSql query from a hive table.

execute(ExecutionContext, int) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.ValidateAsyncOperations

execute(ExecutionContext, int) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.ValidateNode

Method to start the validate operation.

executeNode(DagNode, int) - 类 中的方法org.apache.hudi.integ.testsuite.dag.scheduler.DagScheduler

Execute the given node.

executeNode(DagNode, int) - 类 中的方法org.apache.hudi.integ.testsuite.dag.scheduler.SaferSchemaDagScheduler

ExecutionContext - org.apache.hudi.integ.testsuite.dag中的类

This wraps the context needed for an execution of a DagNode.execute(ExecutionContext, int).

ExecutionContext(JavaSparkContext, WriterContext) - 类 的构造器org.apache.hudi.integ.testsuite.dag.ExecutionContext

F

fetchSource() - 类 中的方法org.apache.hudi.integ.testsuite.HoodieDeltaStreamerWrapper

fetchSource() - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

filter - 类 中的变量org.apache.hudi.integ.testsuite.reader.DFSAvroDeltaInputReader

FlexibleSchemaRecordGenerationIterator - org.apache.hudi.integ.testsuite.generator中的类

A GenericRecordGeneratorIterator for the custom schema of the workload.

FlexibleSchemaRecordGenerationIterator(long, String) - 类 的构造器org.apache.hudi.integ.testsuite.generator.FlexibleSchemaRecordGenerationIterator

FlexibleSchemaRecordGenerationIterator(long, int, String, List<String>, int, int) - 类 的构造器org.apache.hudi.integ.testsuite.generator.FlexibleSchemaRecordGenerationIterator

function - 类 中的变量org.apache.hudi.integ.testsuite.dag.nodes.ValidateNode

G

generate(DeltaGenerator) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.DeleteNode

generate(DeltaGenerator) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.InsertNode

generate(DeltaGenerator) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.UpsertNode

generateDeleteRecord(GenericRecord) - 类 中的方法org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

Set _hoodie_is_deleted column value to true.

generateDeletes(DeltaConfig.Config) - 类 中的方法org.apache.hudi.integ.testsuite.generator.DeltaGenerator

generateInserts(DeltaConfig.Config) - 类 中的方法org.apache.hudi.integ.testsuite.generator.DeltaGenerator

generateUpdates(DeltaConfig.Config) - 类 中的方法org.apache.hudi.integ.testsuite.generator.DeltaGenerator

GenericRecordFullPayloadGenerator - org.apache.hudi.integ.testsuite.generator中的类

This is a GenericRecord payload generator that generates full generic records GenericRecord.

GenericRecordFullPayloadGenerator(Schema) - 类 的构造器org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

GenericRecordFullPayloadGenerator(Schema, int, int, int) - 类 的构造器org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

GenericRecordFullPayloadGenerator(Schema, int) - 类 的构造器org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

GenericRecordFullPayloadSizeEstimator - org.apache.hudi.integ.testsuite.generator中的类

This is a GenericRecord payload estimator estimates the size of a full generic record GenericRecord.

GenericRecordFullPayloadSizeEstimator(Schema) - 类 的构造器org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadSizeEstimator

GenericRecordPartialPayloadGenerator - org.apache.hudi.integ.testsuite.generator中的类

This is a GenericRecord payload generator that generates partial generic records GenericRecord.

GenericRecordPartialPayloadGenerator(Schema) - 类 的构造器org.apache.hudi.integ.testsuite.generator.GenericRecordPartialPayloadGenerator

GenericRecordPartialPayloadGenerator(Schema, int) - 类 的构造器org.apache.hudi.integ.testsuite.generator.GenericRecordPartialPayloadGenerator

getAdjustedPartitionsCount(Map<Integer, Long>, long) - 类 中的方法org.apache.hudi.integ.testsuite.generator.DeltaGenerator

getBatchId() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DFSDeltaConfig

getBytesWritten() - 类 中的方法org.apache.hudi.integ.testsuite.writer.DeltaWriteStats

getCfg() - 类 中的方法org.apache.hudi.integ.testsuite.dag.WriterContext

getCfg() - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

getChildNodes() - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.DagNode

getConfig() - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.DagNode

getConfiguration() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig

getConfiguration() - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

getDagName() - 类 中的方法org.apache.hudi.integ.testsuite.dag.WorkflowDag

getDatasetOutputPath() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DFSDeltaConfig

getDatasetToValidate(SparkSession, ExecutionContext, StructType) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.BaseValidateDatasetNode

getDatasetToValidate(SparkSession, ExecutionContext, StructType) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.ValidateDatasetNode

getDeltaBasePath() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DFSDeltaConfig

getDeltaGenerator() - 类 中的方法org.apache.hudi.integ.testsuite.dag.ExecutionContext

getDeltaGenerator() - 类 中的方法org.apache.hudi.integ.testsuite.dag.WriterContext

getDeltaInputType() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig

getDeltaOutputMode() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig

getDeltaStreamerWrapper() - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

getDeltaWriterAdapter(DeltaConfig, Integer) - 类 中的静态方法org.apache.hudi.integ.testsuite.writer.DeltaWriterFactory

getDeltaWriteStats() - 类 中的方法org.apache.hudi.integ.testsuite.writer.AvroFileDeltaInputWriter

getDeltaWriteStats() - 接口 中的方法org.apache.hudi.integ.testsuite.writer.DeltaInputWriter

Return the statistics of data written.

getDeltaWriteStats() - 类 中的方法org.apache.hudi.integ.testsuite.writer.SparkAvroDeltaInputWriter

getEstimatedFullPayloadSize() - 类 中的方法org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

getFilePath() - 类 中的方法org.apache.hudi.integ.testsuite.writer.DeltaWriteStats

getFilePathsToRead(String, PathFilter, long) - 类 中的方法org.apache.hudi.integ.testsuite.reader.DFSDeltaInputReader

getFileStatusIndexRange(List<FileStatus>, long, long) - 类 中的方法org.apache.hudi.integ.testsuite.reader.DFSDeltaInputReader

getFractionUpsertPerFile() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getFs() - 类 中的方法org.apache.hudi.integ.testsuite.writer.AvroFileDeltaInputWriter

getHiveProperties() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getHiveQueries() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getHiveServiceProvider() - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.HiveSyncNode

getHoodieTestSuiteWriter() - 类 中的方法org.apache.hudi.integ.testsuite.dag.ExecutionContext

getHoodieTestSuiteWriter() - 类 中的方法org.apache.hudi.integ.testsuite.dag.WriterContext

getInputParallelism() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DFSDeltaConfig

getIntermittentDelayMins() - 类 中的方法org.apache.hudi.integ.testsuite.dag.WorkflowDag

getIterationCountToExecute() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getJsc() - 类 中的方法org.apache.hudi.integ.testsuite.dag.ExecutionContext

getLastCheckpoint() - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

getLocalHiveServer() - 类 中的方法org.apache.hudi.integ.testsuite.helpers.HiveServiceProvider

getLogger() - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.BaseValidateDatasetNode

getLogger() - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.ValidateDatasetNode

getMatchedAction() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getMaxFileSize() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DFSDeltaConfig

getMergeCondition() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getName() - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.DagNode

getNewPayload() - 类 中的方法org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

Create a new GenericRecord with random value according to given schema.

getNewPayload(Schema) - 类 中的方法org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

getNewPayload(Set<String>) - 类 中的方法org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

Create a new GenericRecord with random value according to given schema.

getNewPayload(Schema) - 类 中的方法org.apache.hudi.integ.testsuite.generator.GenericRecordPartialPayloadGenerator

getNewPayloadWithTimestamp(String) - 类 中的方法org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

getNewWriter() - 类 中的方法org.apache.hudi.integ.testsuite.writer.AvroFileDeltaInputWriter

getNewWriter() - 接口 中的方法org.apache.hudi.integ.testsuite.writer.DeltaInputWriter

Return a new instance of this writer.

getNewWriter() - 类 中的方法org.apache.hudi.integ.testsuite.writer.SparkAvroDeltaInputWriter

getNextBatch() - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

getNextBatchForDeletes() - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

getNextFilePathsAndMaxModificationTime(Option<String>, long) - 类 中的方法org.apache.hudi.integ.testsuite.helpers.DFSTestSuitePathSelector

getNodeList() - 类 中的方法org.apache.hudi.integ.testsuite.dag.WorkflowDag

getNonNull(Schema) - 类 中的方法org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

getNonNull(Schema) - 类 中的方法org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadSizeEstimator

Get the nonNull Schema of a given UNION Schema.

getNotMatchedAction() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getNumDeletePartitions() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getNumInsertPartitions() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getNumRecordsDelete() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getNumRecordsInsert() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getNumRecordsUpsert() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getNumRollbacks() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getNumUpsertFiles() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getNumUpsertPartitions() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getOtherConfigs() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getParentNodes() - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.DagNode

getPartitionField() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getPartitionPathRecordKey() - 类 中的方法org.apache.hudi.integ.testsuite.writer.DeltaWriteStats

getPartitions(Option<Integer>) - 类 中的方法org.apache.hudi.integ.testsuite.reader.DFSHoodieDatasetInputReader

getPartitionToCountMap(JavaRDD<GenericRecord>) - 类 中的方法org.apache.hudi.integ.testsuite.generator.DeltaGenerator

getPath() - 类 中的方法org.apache.hudi.integ.testsuite.writer.AvroFileDeltaInputWriter

getPreCombineField() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getPrimaryKey() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getProps() - 类 中的方法org.apache.hudi.integ.testsuite.dag.WriterContext

getProps() - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

getRatioRecordsChange() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getRecordSize() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getRecordsWritten() - 类 中的方法org.apache.hudi.integ.testsuite.writer.DeltaWriteStats

getReinitContext() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getRepeatCount() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getResult() - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.DagNode

getRounds() - 类 中的方法org.apache.hudi.integ.testsuite.dag.WorkflowDag

getSchema() - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

getSchemaStr() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DFSDeltaConfig

getSchemaVersion() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getSparkContext() - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

getSparkSession() - 类 中的方法org.apache.hudi.integ.testsuite.dag.WriterContext

getStartPartition() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getTableType() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getUpdateColumn() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getUpdatePayload(GenericRecord, Set<String>) - 类 中的方法org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

Update a given GenericRecord with random value.

getUpdatePayloadWithTimestamp(GenericRecord, Set<String>, String) - 类 中的方法org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

getWhereConditionColumn() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

getWriteClient(DagNode) - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

getWriteConfig() - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

getWriterContext() - 类 中的方法org.apache.hudi.integ.testsuite.dag.ExecutionContext

H

hashCode() - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.DagNode

hasNext() - 类 中的方法org.apache.hudi.integ.testsuite.generator.DeleteGeneratorIterator

hasNext() - 类 中的方法org.apache.hudi.integ.testsuite.generator.FlexibleSchemaRecordGenerationIterator

hasNext() - 类 中的方法org.apache.hudi.integ.testsuite.generator.UpdateGeneratorIterator

HIVE_PROPERTIES - 类 中的静态变量org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

HIVE_QUERIES - 类 中的静态变量org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

HiveQueryNode - org.apache.hudi.integ.testsuite.dag.nodes中的类

A hive query node in the DAG of operations for a workflow. used to perform a hive query with given config.

HiveQueryNode(DeltaConfig.Config) - 类 的构造器org.apache.hudi.integ.testsuite.dag.nodes.HiveQueryNode

HiveServiceProvider - org.apache.hudi.integ.testsuite.helpers中的类

Hive Service provider.

HiveServiceProvider(DeltaConfig.Config) - 类 的构造器org.apache.hudi.integ.testsuite.helpers.HiveServiceProvider

HiveSyncNode - org.apache.hudi.integ.testsuite.dag.nodes中的类

Represents a hive sync node in the DAG of operations for a workflow.

HiveSyncNode(DeltaConfig.Config) - 类 的构造器org.apache.hudi.integ.testsuite.dag.nodes.HiveSyncNode

HoodieDeltaStreamerWrapper - org.apache.hudi.integ.testsuite中的类

Extends the HoodieDeltaStreamer to expose certain operations helpful in running the Test Suite.

HoodieDeltaStreamerWrapper(HoodieDeltaStreamer.Config, JavaSparkContext) - 类 的构造器org.apache.hudi.integ.testsuite.HoodieDeltaStreamerWrapper

HoodieTestSuiteConfig() - 类 的构造器org.apache.hudi.integ.testsuite.HoodieTestSuiteJob.HoodieTestSuiteConfig

HoodieTestSuiteJob - org.apache.hudi.integ.testsuite中的类

This is the entry point for running a Hudi Test Suite.

HoodieTestSuiteJob(HoodieTestSuiteJob.HoodieTestSuiteConfig, JavaSparkContext) - 类 的构造器org.apache.hudi.integ.testsuite.HoodieTestSuiteJob

HoodieTestSuiteJob.HoodieTestSuiteConfig - org.apache.hudi.integ.testsuite中的类

The Hudi test suite uses HoodieDeltaStreamer to run some operations hence extend delta streamer config.

HoodieTestSuiteWriter - org.apache.hudi.integ.testsuite中的类

A writer abstraction for the Hudi test suite.

HoodieTestSuiteWriter(JavaSparkContext, Properties, HoodieTestSuiteJob.HoodieTestSuiteConfig, String) - 类 的构造器org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

I

ingest(HoodieTestSuiteWriter, Option<String>) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.BulkInsertNode

ingest(HoodieTestSuiteWriter, Option<String>) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.DeleteNode

ingest(HoodieTestSuiteWriter, Option<String>) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.InsertNode

ingest(HoodieTestSuiteWriter, Option<String>) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.InsertOverwriteNode

ingest(HoodieTestSuiteWriter, Option<String>) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.InsertOverwriteTableNode

ingest(HoodieTestSuiteWriter, Option<String>) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.UpsertNode

initContext(JavaSparkContext) - 类 中的方法org.apache.hudi.integ.testsuite.dag.WriterContext

inlineClustering() - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

inputBasePath - 类 中的变量org.apache.hudi.integ.testsuite.HoodieTestSuiteJob.HoodieTestSuiteConfig

inputFormatName - 类 中的变量org.apache.hudi.integ.testsuite.HoodieTestSuiteJob.HoodieTestSuiteConfig

inputParallelism - 类 中的变量org.apache.hudi.integ.testsuite.HoodieTestSuiteJob.HoodieTestSuiteConfig

insert() - 类 中的方法org.apache.hudi.integ.testsuite.HoodieDeltaStreamerWrapper

insert(Option<String>) - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

InsertNode - org.apache.hudi.integ.testsuite.dag.nodes中的类

An insert node in the DAG of operations for a workflow.

InsertNode(DeltaConfig.Config) - 类 的构造器org.apache.hudi.integ.testsuite.dag.nodes.InsertNode

insertOverwrite() - 类 中的方法org.apache.hudi.integ.testsuite.HoodieDeltaStreamerWrapper

insertOverwrite(Option<String>) - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

InsertOverwriteNode - org.apache.hudi.integ.testsuite.dag.nodes中的类

InsertOverwriteNode(DeltaConfig.Config) - 类 的构造器org.apache.hudi.integ.testsuite.dag.nodes.InsertOverwriteNode

insertOverwriteTable() - 类 中的方法org.apache.hudi.integ.testsuite.HoodieDeltaStreamerWrapper

insertOverwriteTable(Option<String>) - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

InsertOverwriteTableNode - org.apache.hudi.integ.testsuite.dag.nodes中的类

InsertOverwriteTableNode(DeltaConfig.Config) - 类 的构造器org.apache.hudi.integ.testsuite.dag.nodes.InsertOverwriteTableNode

isCompleted() - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.DagNode

isDeleteInputData() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

isDisableGenerate() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

isDisableIngest() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

isHiveLocal() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

isOption(Schema) - 类 中的方法org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

Check whether a schema is option. return true if it match the follows: 1.

isOption(Schema) - 类 中的方法org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadSizeEstimator

isPrimitive(Schema) - 类 中的静态方法org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

isTableExternal() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

isValidateHive() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

L

LazyRecordGeneratorIterator - org.apache.hudi.integ.testsuite.generator中的类

A lazy record generator to generate GenericRecords lazily and not hold a list of records in memory.

LazyRecordGeneratorIterator(Iterator<GenericRecord>) - 类 的构造器org.apache.hudi.integ.testsuite.generator.LazyRecordGeneratorIterator

limitFileSize - 类 中的变量org.apache.hudi.integ.testsuite.HoodieTestSuiteJob.HoodieTestSuiteConfig

log - 类 中的静态变量org.apache.hudi.integ.testsuite.dag.nodes.DagNode

log - 类 中的静态变量org.apache.hudi.integ.testsuite.dag.WriterContext

log - 类 中的静态变量org.apache.hudi.integ.testsuite.schema.TestSuiteFileBasedSchemaProvider

M

main(String[]) - 类 中的静态方法org.apache.hudi.integ.testsuite.HoodieTestSuiteJob

N

newBuilder() - 类 中的静态方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

next() - 类 中的方法org.apache.hudi.integ.testsuite.generator.DeleteGeneratorIterator

next() - 类 中的方法org.apache.hudi.integ.testsuite.generator.FlexibleSchemaRecordGenerationIterator

next() - 类 中的方法org.apache.hudi.integ.testsuite.generator.UpdateGeneratorIterator

NODE_NAME - 类 中的静态变量org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

O

org.apache.hudi.integ.testsuite - 程序包 org.apache.hudi.integ.testsuite

org.apache.hudi.integ.testsuite.configuration - 程序包 org.apache.hudi.integ.testsuite.configuration

org.apache.hudi.integ.testsuite.converter - 程序包 org.apache.hudi.integ.testsuite.converter

org.apache.hudi.integ.testsuite.dag - 程序包 org.apache.hudi.integ.testsuite.dag

org.apache.hudi.integ.testsuite.dag.nodes - 程序包 org.apache.hudi.integ.testsuite.dag.nodes

org.apache.hudi.integ.testsuite.dag.scheduler - 程序包 org.apache.hudi.integ.testsuite.dag.scheduler

org.apache.hudi.integ.testsuite.generator - 程序包 org.apache.hudi.integ.testsuite.generator

org.apache.hudi.integ.testsuite.helpers - 程序包 org.apache.hudi.integ.testsuite.helpers

org.apache.hudi.integ.testsuite.reader - 程序包 org.apache.hudi.integ.testsuite.reader

org.apache.hudi.integ.testsuite.schema - 程序包 org.apache.hudi.integ.testsuite.schema

org.apache.hudi.integ.testsuite.writer - 程序包 org.apache.hudi.integ.testsuite.writer

outputTypeName - 类 中的变量org.apache.hudi.integ.testsuite.HoodieTestSuiteJob.HoodieTestSuiteConfig

P

parentNodes - 类 中的变量org.apache.hudi.integ.testsuite.dag.nodes.DagNode

R

random - 类 中的变量org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

randomize(GenericRecord, Set<String>) - 类 中的方法org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

Set random value to GenericRecord according to the schema type of field.

read(long) - 接口 中的方法org.apache.hudi.integ.testsuite.reader.DeltaInputReader

Attempts to reads an approximate number of records close to approxNumRecords.

read(int, long) - 接口 中的方法org.apache.hudi.integ.testsuite.reader.DeltaInputReader

read(int, int, long) - 接口 中的方法org.apache.hudi.integ.testsuite.reader.DeltaInputReader

read(int, int, double) - 接口 中的方法org.apache.hudi.integ.testsuite.reader.DeltaInputReader

read(long) - 类 中的方法org.apache.hudi.integ.testsuite.reader.DFSAvroDeltaInputReader

read(int, long) - 类 中的方法org.apache.hudi.integ.testsuite.reader.DFSAvroDeltaInputReader

read(int, int, long) - 类 中的方法org.apache.hudi.integ.testsuite.reader.DFSAvroDeltaInputReader

read(int, int, double) - 类 中的方法org.apache.hudi.integ.testsuite.reader.DFSAvroDeltaInputReader

read(long) - 类 中的方法org.apache.hudi.integ.testsuite.reader.DFSHoodieDatasetInputReader

read(int, long) - 类 中的方法org.apache.hudi.integ.testsuite.reader.DFSHoodieDatasetInputReader

read(int, int, long) - 类 中的方法org.apache.hudi.integ.testsuite.reader.DFSHoodieDatasetInputReader

read(int, int, double) - 类 中的方法org.apache.hudi.integ.testsuite.reader.DFSHoodieDatasetInputReader

readAvro(SparkSession, String, List<String>, Option<String>, Option<String>) - 类 中的静态方法org.apache.hudi.integ.testsuite.reader.SparkBasedReader

readOrc(SparkSession, List<String>, Option<String>, Option<String>) - 类 中的静态方法org.apache.hudi.integ.testsuite.reader.SparkBasedReader

readParquet(SparkSession, List<String>, Option<String>, Option<String>) - 类 中的静态方法org.apache.hudi.integ.testsuite.reader.SparkBasedReader

reinitContext(Map<String, Object>) - 类 中的方法org.apache.hudi.integ.testsuite.dag.WriterContext

reinitializeContext(boolean) - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

result - 类 中的变量org.apache.hudi.integ.testsuite.dag.nodes.DagNode

RollbackNode - org.apache.hudi.integ.testsuite.dag.nodes中的类

A rollback node in the DAG helps to perform rollback operations.

RollbackNode(DeltaConfig.Config) - 类 的构造器org.apache.hudi.integ.testsuite.dag.nodes.RollbackNode

rollOver() - 类 中的方法org.apache.hudi.integ.testsuite.writer.DFSDeltaWriterAdapter

runTestSuite() - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteJob

S

SaferSchemaDagScheduler - org.apache.hudi.integ.testsuite.dag.scheduler中的类

SaferSchemaDagScheduler(WorkflowDag, WriterContext, JavaSparkContext) - 类 的构造器org.apache.hudi.integ.testsuite.dag.scheduler.SaferSchemaDagScheduler

SaferSchemaDagScheduler(WorkflowDag, WriterContext, JavaSparkContext, int) - 类 的构造器org.apache.hudi.integ.testsuite.dag.scheduler.SaferSchemaDagScheduler

saferSchemaEvolution - 类 中的变量org.apache.hudi.integ.testsuite.HoodieTestSuiteJob.HoodieTestSuiteConfig

schedule() - 类 中的方法org.apache.hudi.integ.testsuite.dag.scheduler.DagScheduler

Method to start executing workflow DAGs.

scheduleCompact() - 类 中的方法org.apache.hudi.integ.testsuite.HoodieDeltaStreamerWrapper

scheduleCompaction(Option<Map<String, String>>) - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

ScheduleCompactNode - org.apache.hudi.integ.testsuite.dag.nodes中的类

A schedule node in the DAG of operations for a workflow helps to schedule compact operation.

ScheduleCompactNode(DeltaConfig.Config) - 类 的构造器org.apache.hudi.integ.testsuite.dag.nodes.ScheduleCompactNode

SchemaUtils - org.apache.hudi.integ.testsuite.schema中的类

SchemaUtils() - 类 的构造器org.apache.hudi.integ.testsuite.schema.SchemaUtils

setBatchId(Integer) - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DFSDeltaConfig

setBytesWritten(long) - 类 中的方法org.apache.hudi.integ.testsuite.writer.DeltaWriteStats

setCompleted(boolean) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.DagNode

setFilePath(String) - 类 中的方法org.apache.hudi.integ.testsuite.writer.DeltaWriteStats

setParentNodes(List<DagNode<O>>) - 类 中的方法org.apache.hudi.integ.testsuite.dag.nodes.DagNode

setPartitionPathRecordKey(List<Pair<String, String>>) - 类 中的方法org.apache.hudi.integ.testsuite.writer.DeltaWriteStats

setRecordsWritten(long) - 类 中的方法org.apache.hudi.integ.testsuite.writer.DeltaWriteStats

shouldDeleteOldInputData() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DFSDeltaConfig

shouldUseCtas() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

SimpleWorkflowDagGenerator - org.apache.hudi.integ.testsuite.dag中的类

An example of how to generate a workflow dag programmatically.

SimpleWorkflowDagGenerator() - 类 的构造器org.apache.hudi.integ.testsuite.dag.SimpleWorkflowDagGenerator

SOURCE_ORDERING_FIELD - 类 中的静态变量org.apache.hudi.integ.testsuite.schema.SchemaUtils

SPARK_AVRO_FORMAT - 类 中的静态变量org.apache.hudi.integ.testsuite.reader.SparkBasedReader

SPARK_PARQUET_FORMAT - 类 中的静态变量org.apache.hudi.integ.testsuite.reader.SparkBasedReader

SparkAvroDeltaInputWriter - org.apache.hudi.integ.testsuite.writer中的类

Spark based avro delta input writer.

SparkAvroDeltaInputWriter(SparkSession, String, String) - 类 的构造器org.apache.hudi.integ.testsuite.writer.SparkAvroDeltaInputWriter

SparkBasedReader - org.apache.hudi.integ.testsuite.reader中的类

Helper class to read avro and/or parquet files and generate a RDD of GenericRecord.

SparkBasedReader() - 类 的构造器org.apache.hudi.integ.testsuite.reader.SparkBasedReader

sparkSession - 类 中的变量org.apache.hudi.integ.testsuite.writer.SparkAvroDeltaInputWriter

SparkSQLQueryNode - org.apache.hudi.integ.testsuite.dag.nodes中的类

A SparkSQL query node in the DAG of operations for a workflow.

SparkSQLQueryNode(DeltaConfig.Config) - 类 的构造器org.apache.hudi.integ.testsuite.dag.nodes.SparkSQLQueryNode

start() - 类 中的方法org.apache.hudi.integ.testsuite.generator.LazyRecordGeneratorIterator

startCommit() - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

startHiveMetastore - 类 中的变量org.apache.hudi.integ.testsuite.HoodieTestSuiteJob.HoodieTestSuiteConfig

startLocalHiveServiceIfNeeded(Configuration) - 类 中的方法org.apache.hudi.integ.testsuite.helpers.HiveServiceProvider

startLocalZookeeperIfNeeded() - 类 中的方法org.apache.hudi.integ.testsuite.helpers.ZookeeperServiceProvider

startZookeeper - 类 中的变量org.apache.hudi.integ.testsuite.HoodieTestSuiteJob.HoodieTestSuiteConfig

stopLocalHiveServiceIfNeeded() - 类 中的方法org.apache.hudi.integ.testsuite.helpers.HiveServiceProvider

stopLocalZookeeperIfNeeded() - 类 中的方法org.apache.hudi.integ.testsuite.helpers.ZookeeperServiceProvider

syncToLocalHiveIfNeeded(HoodieTestSuiteWriter) - 类 中的方法org.apache.hudi.integ.testsuite.helpers.HiveServiceProvider

T

TestSuiteFileBasedSchemaProvider - org.apache.hudi.integ.testsuite.schema中的类

Appends source ordering field to both source and target schemas.

TestSuiteFileBasedSchemaProvider(TypedProperties, JavaSparkContext) - 类 的构造器org.apache.hudi.integ.testsuite.schema.TestSuiteFileBasedSchemaProvider

toString() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

toString(InputStream) - 类 中的静态方法org.apache.hudi.integ.testsuite.dag.DagUtils

toString() - 类 中的方法org.apache.hudi.integ.testsuite.dag.WriterContext

TYPE - 类 中的静态变量org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

typeEstimateAndNumComplexFields() - 类 中的方法org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadSizeEstimator

U

UpdateConverter - org.apache.hudi.integ.testsuite.converter中的类

This converter creates an update GenericRecord from an existing GenericRecord.

UpdateConverter(String, int, List<String>, List<String>) - 类 的构造器org.apache.hudi.integ.testsuite.converter.UpdateConverter

UpdateGeneratorIterator - org.apache.hudi.integ.testsuite.generator中的类

A lazy update payload generator to generate GenericRecords lazily.

UpdateGeneratorIterator(Iterator<GenericRecord>, String, List<String>, List<String>, int) - 类 的构造器org.apache.hudi.integ.testsuite.generator.UpdateGeneratorIterator

updateTimestamp(GenericRecord, String) - 类 中的方法org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

upsert(WriteOperationType) - 类 中的方法org.apache.hudi.integ.testsuite.HoodieDeltaStreamerWrapper

upsert(Option<String>) - 类 中的方法org.apache.hudi.integ.testsuite.HoodieTestSuiteWriter

UpsertNode - org.apache.hudi.integ.testsuite.dag.nodes中的类

Represents an upsert node in the DAG of operations for a workflow.

UpsertNode(DeltaConfig.Config) - 类 的构造器org.apache.hudi.integ.testsuite.dag.nodes.UpsertNode

useDeltaStreamer - 类 中的变量org.apache.hudi.integ.testsuite.HoodieTestSuiteJob.HoodieTestSuiteConfig

V

validate(GenericRecord) - 类 中的方法org.apache.hudi.integ.testsuite.generator.GenericRecordFullPayloadGenerator

Validate whether the record match schema.

validate(GenericRecord) - 类 中的方法org.apache.hudi.integ.testsuite.generator.GenericRecordPartialPayloadGenerator

validateArchival() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

ValidateAsyncOperations - org.apache.hudi.integ.testsuite.dag.nodes中的类

Node to validate data set sanity like total file versions retained, has cleaning happened, has archival happened, etc.

ValidateAsyncOperations(DeltaConfig.Config) - 类 的构造器org.apache.hudi.integ.testsuite.dag.nodes.ValidateAsyncOperations

validateClean() - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config

ValidateDatasetNode - org.apache.hudi.integ.testsuite.dag.nodes中的类

This validation node uses spark datasource for comparison purposes.

ValidateDatasetNode(DeltaConfig.Config) - 类 的构造器org.apache.hudi.integ.testsuite.dag.nodes.ValidateDatasetNode

ValidateNode<R> - org.apache.hudi.integ.testsuite.dag.nodes中的类

A validate node helps to validate its parent nodes with given function.

ValidateNode(DeltaConfig.Config, Function<List<DagNode>, R>) - 类 的构造器org.apache.hudi.integ.testsuite.dag.nodes.ValidateNode

valueOf(String) - 枚举 中的静态方法org.apache.hudi.integ.testsuite.reader.DeltaInputType

返回带有指定名称的该类型的枚举常量。

valueOf(String) - 枚举 中的静态方法org.apache.hudi.integ.testsuite.writer.DeltaOutputMode

返回带有指定名称的该类型的枚举常量。

values() - 枚举 中的静态方法org.apache.hudi.integ.testsuite.reader.DeltaInputType

按照声明该枚举类型的常量的顺序, 返回 包含这些常量的数组。

values() - 枚举 中的静态方法org.apache.hudi.integ.testsuite.writer.DeltaOutputMode

按照声明该枚举类型的常量的顺序, 返回 包含这些常量的数组。

W

withConfig(String, Object) - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

withConfigsMap(Map<String, Object>) - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

withFractionUpsertPerFile(double) - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

withHiveLocal(boolean) - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

withHiveProperties(List<String>) - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

withHiveQueryAndResults(List<Pair<String, Integer>>) - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

withName(String) - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

withNumDeletePartitions(int) - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

withNumInsertPartitions(int) - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

withNumRecordsToDelete(long) - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

withNumRecordsToInsert(long) - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

withNumRecordsToUpdate(long) - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

withNumRollbacks(int) - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

withNumTimesToRepeat(int) - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

withNumUpsertFiles(int) - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

withNumUpsertPartitions(int) - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

withRecordSize(int) - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

withSchemaVersion(int) - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

withStartPartition(int) - 类 中的方法org.apache.hudi.integ.testsuite.configuration.DeltaConfig.Config.Builder

WorkflowDag<O> - org.apache.hudi.integ.testsuite.dag中的类

Workflow dag that encapsulates all execute nodes.

WorkflowDag(List<DagNode<O>>) - 类 的构造器org.apache.hudi.integ.testsuite.dag.WorkflowDag

WorkflowDag(String, int, int, List<DagNode<O>>) - 类 的构造器org.apache.hudi.integ.testsuite.dag.WorkflowDag

WorkflowDagGenerator - org.apache.hudi.integ.testsuite.dag中的接口

A interface which represents a workflow dag generator.

workloadDagGenerator - 类 中的变量org.apache.hudi.integ.testsuite.HoodieTestSuiteJob.HoodieTestSuiteConfig

workloadYamlPath - 类 中的变量org.apache.hudi.integ.testsuite.HoodieTestSuiteJob.HoodieTestSuiteConfig

write(J) - 接口 中的方法org.apache.hudi.integ.testsuite.writer.DeltaWriterAdapter.SparkBasedDeltaWriter

write(Iterator<I>) - 接口 中的方法org.apache.hudi.integ.testsuite.writer.DeltaWriterAdapter

write(Iterator<GenericRecord>) - 类 中的方法org.apache.hudi.integ.testsuite.writer.DFSDeltaWriterAdapter

write(JavaRDD<GenericRecord>) - 类 中的方法org.apache.hudi.integ.testsuite.writer.DFSSparkAvroDeltaWriter

writeData(GenericRecord) - 类 中的方法org.apache.hudi.integ.testsuite.writer.AvroFileDeltaInputWriter

writeData(I) - 接口 中的方法org.apache.hudi.integ.testsuite.writer.DeltaInputWriter

Generate any type of data.

writeData(JavaRDD<GenericRecord>) - 类 中的方法org.apache.hudi.integ.testsuite.writer.SparkAvroDeltaInputWriter

WriterContext - org.apache.hudi.integ.testsuite.dag中的类

WriterContext wraps the delta writer/data generator related configuration needed to init/reinit.

WriterContext(JavaSparkContext, TypedProperties, HoodieTestSuiteJob.HoodieTestSuiteConfig, BuiltinKeyGenerator, SparkSession) - 类 的构造器org.apache.hudi.integ.testsuite.dag.WriterContext

writeRecords(JavaRDD<GenericRecord>) - 类 中的方法org.apache.hudi.integ.testsuite.generator.DeltaGenerator

Z

ZookeeperServiceProvider - org.apache.hudi.integ.testsuite.helpers中的类

ZookeeperServiceProvider(DeltaConfig.Config, Configuration) - 类 的构造器org.apache.hudi.integ.testsuite.helpers.ZookeeperServiceProvider

A B C D E F G H I L M N O P R S T U V W Z