| Class | Description |
|---|---|
| HdfsSystemAdmin |
The HDFS system admin for
HdfsSystemConsumer and
HdfsSystemProducer
A high level overview of the HDFS producer/consumer architecture:
┌──────────────────────────────────────────────────────────────────────────────┐
│ │
┌─────────────────┤ HDFS │
│ Obtain │ │
│ Partition └──────┬──────────────────────▲──────┬─────────────────────────────────▲───────┘
│ Descriptors │ │ │ │
│ │ │ │ │
│ ┌─────────────▼───────┐ │ │ Filtering/ │
│ │ │ │ └───┐ Grouping └─────┐
│ │ HDFSAvroFileReader │ │ │ │
│ │ │ Persist │ │ │
│ └─────────┬───────────┘ Partition │ │ │
│ │ Descriptors │ ┌──────▼──────────────┐ ┌──────────┴──────────┐
│ │ │ │ │ │ │
│ ┌─────────┴───────────┐ │ │Directory Partitioner│ │ HDFSAvroWriter │
│ │ IFileReader │ │ │ │ │ │
│ │ │ │ └──────┬──────────────┘ └──────────┬──────────┘
│ └─────────┬───────────┘ │ │ │
│ │ │ │ │
│ │ │ │ │
│ ┌─────────┴───────────┐ ┌─┴──────────┴────────┐ ┌──────────┴──────────┐
│ │ │ │ │ │ │
│ │ HDFSSystemConsumer │ │ HDFSSystemAdmin │ │ HDFSSystemProducer │
└──────────▶ │ │ │ │ │
└─────────┬───────────┘ └───────────┬─────────┘ └──────────┬──────────┘
│ │ │
└────────────────────────────────────┼────────────────────────────────────┘
│
┌───────────────────────────────────────┴──────────────────────────────────────┐
│ │
│ HDFSSystemFactory │
│ │
└──────────────────────────────────────────────────────────────────────────────┘ |
| HdfsSystemConsumer |
The system consumer for HDFS, extending the
BlockingEnvelopeMap. |
| HdfsSystemConsumer.HdfsSystemConsumerMetrics | |
| PartitionDescriptorUtil |
Util class for methods around partition descriptor.
|