HttpDownloader (http-base 0.1 API)

java.lang.Object
- xyz.cofe.http.HttpDownloader

All Implemented Interfaces:: GetCounters, ResetCounters, IsFinished

public class HttpDownloader
extends Object
implements IsFinished, ResetCounters, GetCounters

Докачивание данных.
Простой пример

// Создание клиента
HttpClient client = new HttpClient()
 
// Создание запроса откуда качать
HttpRequest req = 
  client.createRequest( "http://site/file.zip" )

// Создание докачки
HttpDownloader dlr = 
  client.createDownloader( req )

// Восстановление предыдущего состояния
ContentFragments savedState = ... 

// Выполнять асинхронно
dlr.setAsync( true )
 
// Если поддерживается, то использовать докачку по возможности
dlr.setAllowPartialContent( true )

// Если поддерживается, то принудительно использовать докачку
dlr.setForcePartialDownload( true )

// файл в который производиться закачка
ContentBuffer fileBuf = 
  new CFileBuffer(
    new java.io.File( 'filename' ) );

dlr.setContentBuffer( fileBuf )

// По завершению вызвать функцию
dlr.onFinished( 
new Func1<Object,HttpDownloader>(){
  public Object apply(HttpDownloader dl){
    // закачка закончилась
  }});

// Просмотр прогресса скачивания
dlr.addListener( new HttpListenerAdapter(){
  protected void downloaderStateChanged(
     HttpDownloader.StateChangedEvent event,
     HttpDownloader downloader,
     HttpDownloader.State oldState,
     HttpDownloader.State newState
  ){
    // смена состояния закачки
  }   

  protected void downloaderProgress(
    HttpDownloader.ProgressEvent event,
    HttpDownloader dl
  ){
    // прогресс закачки
    long totalSize = dl.getTotalSize();
    long downloaded = dl.getDownloadedSize();
    
    // процент закачки
    int pct = downloaded * 100 / totalSize;
  }

});

// Запуск скачивания
if( savedState!=null ) {
  dlr.start(savedState);
} else { 
  dlr.start();
}

// Ожидание завершения
dlr.waitForFinished()
 
// Сохранение состояния
savedState = dlr.getFragments()

State machine

Счётчики и обработка ошибок

В процессе работы ведется подсчет ошибок, скорости передачи и т.д. Все эти подсчеты хранятся в "счётчиках" (getCounters()).

Счетчики могут быть ограничивающие (MaxCounter, OverflowCounter) или не ограничивающие (IntCounter, LongCounter, ...). И первые и вторые, при наступлении какого-то события, увеличивается соответствующее значение счетчика.

Ограничивающие счетчики - они определяют дальнейшее поведение при превышении порогового значения. Так при превышении максимального значения (при max >= 0) счетчика tryCounter - завершиться работа скачивания данных.

OverflowCounter. А при превышении счетчика ошибок скачивания фрагментов (tryFagmentCounter) возможно два поведения: 1 - Пропуск фрагмента, 2 - Остановка с ошибкой;. Поведение задается значением свойства overflowAction.

Имя / Метод	Тип счетчика	Описание
try / getTryCounter()	MaxCounter	Общий счетчик попыток получения данных

Author:: Kamnev Georgiy (nt.gocha@gmail.com)

Nested Class Summary

Nested Classes
Modifier and Type	Class and Description
`static class`	`HttpDownloader.AddedValidFragmentEvent` Уведомление о добавлении валидного фрагмента
`protected static class`	`HttpDownloader.CatchFirstStatus`
`static class`	`HttpDownloader.ContentValidateEvent` Уведомление о проверке контента
`static class`	`HttpDownloader.ContentValidateProgressEvent` Уведомление о удалии битого фрагмента
`static class`	`HttpDownloader.CountersResetedEvent` Уведомление о сбросе счетчиков (ошибок)
`static class`	`HttpDownloader.DownloadedFragmentEvent` Уведомление о получении фрагмента
`static class`	`HttpDownloader.FinishWithErrorEvent` Уведомление о завершении с ошибкой
`static class`	`HttpDownloader.FragmentErrorEvent` Уведомление о ошибки проверки фрагмента
`static class`	`HttpDownloader.GetPartEvent` Уведомление о начале получения фрагмента
`static class`	`HttpDownloader.GetPartFinishedEvent` Уведомление о завершении получения фрагмента
`static class`	`HttpDownloader.GetPartStartedEvent` Уведомление о начале получения фрагмента
`static class`	`HttpDownloader.ProgressEvent` Уведомление о прогрессе
`static class`	`HttpDownloader.RedirectEvent` Уведомление о переходе
`static class`	`HttpDownloader.RemovedInvalidFragmentEvent` Уведомление о удалии битого фрагмента
`static class`	`HttpDownloader.RepeatFragmentEvent` Уведомление о повторной закачке фрагмента
`static class`	`HttpDownloader.RepeatOverflowEvent` Уведомление о переполнении повторов
`static class`	`HttpDownloader.ResponseEvent` Уведомление о создании запроса
`static class`	`HttpDownloader.RetryEvent` Уведомление о повторе попытки
`protected static class`	`HttpDownloader.Signal` Сигнал при паралельной работы
`static class`	`HttpDownloader.SkippedFragmentEvent` Уведомление о пропуске фрагмента
`static class`	`HttpDownloader.State` Состояние Downloader
`static class`	`HttpDownloader.StateChangedEvent` Уведомление о смене состояния

Field Summary

Fields
Modifier and Type	Field and Description
`protected boolean`	`allowParialContent`
`protected Boolean`	`async`
`protected xyz.cofe.cbuffer.ContentBuffer`	`contentBuffer` Буфер данных
`protected long`	`contentLength`
`protected ContentValidator`	`contentValidator` Проверка скаченного контента
`protected int`	`defaultFragmentSize` размер фрагмента по умолчанию (64К)
`protected long`	`downloadedSize`
`protected Date`	`finished`
`protected boolean`	`followRedirect`
`protected boolean`	`forcePartialDownload`
`protected ContentFragments`	`fragments`
`protected Lock`	`fragmentsLock`
`protected FragmentValidator`	`fragmentValidator` Проверка получения фрагмента
`protected HttpListenersHelper`	`httpListenerHelper`
`protected static HttpStatusHelper`	`httpStatusHelper`
`long`	`id` Идентификатор объекта в пределах приложения
`protected ReentrantLock`	`lock`
`protected int`	`maxParallesGetParts` максимальное возможное кол-во паралельных потоков
`protected static AtomicLong`	`sequenceID`
`protected Boolean`	`serverContinueSupported`
`protected HttpDownloader.Signal`	`signal`
`protected Date`	`started`
`protected HttpDownloader.State`	`state`
`protected long`	`streamDownloadedSize` Кол-во байт загруженных в режиме stream
`protected Thread`	`thread`
`protected xyz.cofe.collection.set.EventSet<ContentFragment>`	`validatedFragments` Проверенные, валидные фрагменты

Constructor Summary

Constructors
Constructor and Description

HttpDownloader(HttpRequest request)
Конструктор

HttpDownloader(Mirrors mirrors)
Конструктор

Constructors
Constructor and Description
`HttpDownloader(HttpRequest request)` Конструктор
`HttpDownloader(Mirrors mirrors)` Конструктор

Method Summary

All Methods Static Methods Instance Methods Concrete Methods
Modifier and Type	Method and Description
`protected void`	`addGetPartProgressListener(Queue<Runnable> qe, GetPart gp, ContentFragment cf)` Добавляет подписчика на уведомление о прогрессе
`Closeable`	`addListener(HttpListener listener)`
`Closeable`	`addListener(HttpListener listener, boolean weakLink)`
`protected HttpDownloader.CatchFirstStatus`	`catchFirstResponse(Mirrors mirrors, HttpRequest request, HttpResponse response, ContentFragments fragments)` Захвать первого ответа
`protected boolean`	`checkFinishedParts(GetPartList gparts, WeakHashMap<GetPart,ContentFragment> getPartFragment, WeakHashMap<ContentFragment,GetPart> fragmentGetPart)` Проверить наличие законченных запросов, и удаляет успешно заверненные.
`protected void`	`checkPauseSignal(GetPartList gparts)` Проверяет сигнал паузы
`protected HttpDownloader.Signal`	`checkSignal()`
`protected boolean`	`checkStopSignal(GetPartList gparts, WeakHashMap<GetPart,ContentFragment> getPartFragment)` Проверяет сигнал остановки
`protected void`	`continuePartialDownload(Mirrors mirrors, HttpRequest request)` Продолжение фрагментарной загрузки
`protected void`	`continueStreamDownload(HttpRequest request, HttpResponse firstRes)` Продолжение потоковой загрузки
`protected ContentFragment`	`createFragment(long begin, long end)` Создание фрагмента
`protected GetPartBuilder`	`createGetPartBuilder(Mirrors mirrors, HttpRequest request)` Создание построителя GetPart
`protected CreatedNewParts`	`createNewParts(List<ContentFragment> lfragments, GetPartList gparts, GetPartBuilder gpBuilder, WeakHashMap<ContentFragment,GetPart> fragmentGetPart, WeakHashMap<GetPart,ContentFragment> getPartFragment, Queue<Runnable> qe)` Создает паралельные запросы на полчение недостающих частей
`protected void`	`finishAsError(GetPartList gparts, WeakHashMap<GetPart,ContentFragment> getPartFragment, String message)` Завершить работу паралельных потоков с сообщением.
`protected void`	`finishAsError(String message)` Завершение работы с сообщением
`protected void`	`finishPartialDownload()` Завершение работы фрагментарного скачивания
`protected void`	`finishStreamDownload()` Завершение работы потокогового скачивания
`void`	`fireEvent(HttpEvent event)`
`protected void`	`fireQueueEvents(Queue<Runnable> qe)` Разослать все уведомления в очереди
`MaxCounter`	`getBadStatusCounter()` Счетчик плохого статуса HTTP ответа
`MaxCounter`	`getBindErrCounter()` Счетчик BindException
`MaxCounter`	`getClientErrorCounter()` Счетчик ошибок клиента, 400 >= HTTP статус < 500
`MaxCounter`	`getConnectErrCounter()` Счетчик ConnectException
`xyz.cofe.cbuffer.ContentBuffer`	`getContentBuffer()` Указывает буффер для content-а
`long`	`getContentLength()` Указывает конечный объем контента (Значение береться из заголовка CONTENT-LENGTH).
`ContentValidator`	`getContentValidator()` Проверка скачанного контента
`Map<String,Counter>`	`getCounters()` Счетчики
`int`	`getDefaultFragmentSize()` Вовзаращает размер фрагмента по умолчанию (64К)
`long`	`getDownloadedSize()` Указывает объем скаченного контента.
`Date`	`getFinished()` Дата/время завершения закачки (перехода в состояние Finished)
`ContentFragments`	`getFragments()` Фрагменты данных
`FragmentValidator`	`getFragmentValidator()` Проверка получения фрагмента
`GetPart[]`	`getGetParts()` Возвращает паралельные загрузки
`MaxCounter`	`getHeadersNotExistsCounter()` Счетчик ошибок отсуствия заголовка
`MaxCounter`	`getHttpRetryCounter()` Счетчик HttpRetryException
`MaxCounter`	`getInfoStatusCounter()` Счетчик информационных сообщений, 100 >= HTTP статус < 200
`Set<HttpListener>`	`getListeners()`
`Lock`	`getLock()` Вовзаращает блокировку
`MaxCounter`	`getMalformedURLCounter()` Счетчик MalformedURLException
`int`	`getMaxParallesGetParts()` Вовзаращает максимальное возможное кол-во паралельных потоков
`Mirrors`	`getMirrors()` Зекрала/источники с которых происходит скачивание контента
`MaxCounter`	`getMultipleErrorsCounter()` Счетчик ошибок (более 1 ошибки за раз) старта
`MaxCounter`	`getNoRouteToHostCounter()` Счетчик NoRouteToHostException
`long`	`getPartialDownloadedSize()` Указывает объем скаченного контента, который содержиться в фрагментах.
`MaxCounter`	`getPortUnreachableCounter()` Счетчик PortUnreachableException
`ProgressCounters`	`getProgressCounters()` Общий счетчик попыток
`MaxCounter`	`getProtocolErrCounter()` Счетчик ProtocolException
`IntCounter`	`getRequestsCounter()`
`MaxCounter`	`getServerErrorCounter()` Счетчик ошибок сервера, 500 >= HTTP статус
`protected HttpDownloader.Signal`	`getSignal()`
`MaxCounter`	`getSocketErrCounter()` Счетчик SocketException
`MaxCounter`	`getSocketTimeoutCounter()` Счетчик SocketTimeoutException
`Date`	`getStarted()` Дата/время начала закачки (переход в состояние Starting)
`HttpDownloader.State`	`getState()` Получение состояния объекта
`long`	`getStreamDownloadedSize()` Кол-во байт загруженных в режиме stream
`Thread`	`getThread()` Возвращает thread в котром происходит исполнение
`long`	`getTotalSize()` Возвращает конечный объем конета.
`MaxCounter`	`getTryCounter()` Общий счетчик попыток
`OverflowCounter`	`getTryFagmentCounter()`
`MaxCounter`	`getTryStartCounter()` Счетчик попыток старта
`MaxCounter`	`getUnknownHostCounter()` Счетчик ошибок UnknownHostException
`MaxCounter`	`getUnknownServiceCounter()` Счетчик UnknownServiceException
`MaxCounter`	`getUnSupportedStatusCounter()` Счетчик не поддерживаемых статусов HTTP ответа
`MaxCounter`	`getUriSyntaxErrCounter()` Счетчик URISyntaxException
`xyz.cofe.collection.set.EventSet<ContentFragment>`	`getValidatedFragments()` Возвращает фрагменты которые валидны
`LongCounter`	`getWorkTimeCounter()`
`boolean`	`isAlive()` Возвращает признак паралельной работы, соответ возможность вызвать методы waitForFinished() и stop()
`boolean`	`isAllowParialContent()` Поддерживать частичную докачку фрагментов
`boolean`	`isAsync()` Работать асинхронно (start)
`boolean`	`isFinished()` Объект находится в конечном состоянии, загрузка не производится
`boolean`	`isFollowRedirect()` Переходить по redirect
`boolean`	`isForcePartialDownload()` Форсировать частичную докачку, даже если это не требуется
`boolean`	`isPartialMode()`
`Boolean`	`isServerContinueSupported()` Указывает, сервер поддерживает докачку
`static boolean`	`isSupportedContinueDownload(HttpResponse response)`
`protected void`	`markDownloaded(ContentFragment cf)` Отметка фрагмента как закаченного
`Closeable`	`onFinished(xyz.cofe.collection.Func1<Object,HttpDownloader> runOnFinsihed)` Вызывать код когда запрос перейдет в состояние finished.
`void`	`pause()` Сигнал паузы
`void`	`removeListener(HttpListener listener)`
`protected void`	`repeatDownload(ContentFragment cf)` Повтор закачки указанного фрагмента
`void`	`resetCounters()` Сброс счетчиков
`void`	`resume()` Сигнал продолжения - снятие с паузы
`protected void`	`run(Mirrors mirrors, ContentFragments fragments)` Начало закачки
`void`	`setAllowParialContent(boolean allowParialContent)` Поддерживать частичную докачку фрагментов
`void`	`setAsync(boolean async)` Работать асинхронно (start)
`void`	`setBadStatusCounter(MaxCounter cnt)`
`void`	`setBindErrCounter(MaxCounter cnt)` Счетчик BindException
`void`	`setClientErrorCounter(MaxCounter cnt)`
`void`	`setConnectErrCounter(MaxCounter cnt)`
`void`	`setContentBuffer(xyz.cofe.cbuffer.ContentBuffer contentBuffer)` Указывает буффер для content-а
`void`	`setContentValidator(ContentValidator cv)` Проверка скачанного контента
`void`	`setDefaultFragmentSize(int defFragmentSize)` Указывает размер фрагмента по умолчанию
`void`	`setFollowRedirect(boolean followRedirect)` Переходить по redirect
`void`	`setForcePartialDownload(boolean forcePartialDownload)` Форсировать частичную докачку, даже если это не требуется
`protected void`	`setFragments(ContentFragments fragments)` Установка фрагментов
`void`	`setFragmentValidator(FragmentValidator fv)` Проверка получения фрагмента
`void`	`setHeadersNotExistsCounter(MaxCounter cnt)`
`void`	`setHttpRetryCounter(MaxCounter cnt)`
`void`	`setInfoStatusCounter(MaxCounter cnt)`
`void`	`setMalformedURLCounter(MaxCounter cnt)`
`void`	`setMaxParallesGetParts(int maxParallesGetParts)` Указывает максимальное возможное кол-во паралельных потоков
`void`	`setMultipleErrorsCounter(MaxCounter cnt)` Счетчик ошибок (более 1 ошибки за раз) старта
`void`	`setNoRouteToHostCounter(MaxCounter cnt)`
`protected void`	`setPartialMode(boolean mode)`
`void`	`setPortUnreachableCounter(MaxCounter cnt)`
`void`	`setProtocolErrCounter(MaxCounter cnt)`
`protected void`	`setServerContinueSupported(Boolean serverContinueSupported)` Указывает, сервер поддерживает докачку
`void`	`setServerErrorCounter(MaxCounter cnt)`
`protected void`	`setSignal(HttpDownloader.Signal signal)`
`void`	`setSocketErrCounter(MaxCounter cnt)` Счетчик SocketException
`void`	`setSocketTimeoutCounter(MaxCounter cnt)`
`protected void`	`setState(HttpDownloader.State newState)`
`protected HttpDownloader.StateChangedEvent`	`setStateAndRetEvent(HttpDownloader.State newState)`
`protected void`	`setStreamDownloadedSize(long size)` Указывает кол-во байт загруженных в режиме stream
`void`	`setTryCounter(MaxCounter cnt)` Общий счетчик попыток
`void`	`setTryFagmentCounter(OverflowCounter cnt)`
`void`	`setTryStartCounter(MaxCounter cnt)` Счетчик попыток старта
`void`	`setUnknownHostCounter(MaxCounter cnt)`
`void`	`setUnknownServiceCounter(MaxCounter cnt)`
`void`	`setUnSupportedStatusCounter(MaxCounter cnt)`
`void`	`setUriSyntaxErrCounterCounter(MaxCounter cnt)`
`protected void`	`skipDownload(ContentFragment cf)` Пропуск закачки указанного фрагмента
`void`	`start()` Запуск на закачивание.
`void`	`start(ContentFragments fragments)` Возобновление скачивания Можно вызывать в состоянии Prepare, Finished
`void`	`stop()` прерываение загрузки, можно вызывать когда работает в параллельном/асинхронном режиме.
`protected void`	`switchPartialDownload(Mirrors mirrors, HttpRequest request, HttpResponse firstRes, ContentFragments fragments)` Переключение в режим фрагментарной загруки из потокового режима
`protected void`	`validateContent(Mirrors mirrors, HttpRequest request, ContentValidator cv)` Проверка содержимого
`void`	`waitForFinished()` Ожидание завершения загрузки.

Methods inherited from class java.lang.Object
clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

- Field Detail
  - sequenceID
```
protected static final AtomicLong sequenceID
```
  - lock
```
protected final ReentrantLock lock
```
  - id
```
public final long id
```
    Идентификатор объекта в пределах приложения
  - contentBuffer
```
protected xyz.cofe.cbuffer.ContentBuffer contentBuffer
```
    Буфер данных
  - httpListenerHelper
```
protected final HttpListenersHelper httpListenerHelper
```
  - followRedirect
```
protected boolean followRedirect
```
  - downloadedSize
```
protected long downloadedSize
```
  - streamDownloadedSize
```
protected long streamDownloadedSize
```
    Кол-во байт загруженных в режиме stream
  - contentLength
```
protected long contentLength
```
  - async
```
protected Boolean async
```
  - thread
```
protected Thread thread
```
  - allowParialContent
```
protected boolean allowParialContent
```
  - forcePartialDownload
```
protected boolean forcePartialDownload
```
  - serverContinueSupported
```
protected Boolean serverContinueSupported
```
  - maxParallesGetParts
```
protected int maxParallesGetParts
```
    максимальное возможное кол-во паралельных потоков
  - contentValidator
```
protected volatile ContentValidator contentValidator
```
    Проверка скаченного контента
  - fragmentValidator
```
protected volatile FragmentValidator fragmentValidator
```
    Проверка получения фрагмента
  - fragmentsLock
```
protected Lock fragmentsLock
```
  - fragments
```
protected ContentFragments fragments
```
  - defaultFragmentSize
```
protected int defaultFragmentSize
```
    размер фрагмента по умолчанию (64К)
  - started
```
protected Date started
```
  - finished
```
protected Date finished
```
  - state
```
protected HttpDownloader.State state
```
  - signal
```
protected HttpDownloader.Signal signal
```
  - httpStatusHelper
```
protected static HttpStatusHelper httpStatusHelper
```
  - validatedFragments
```
protected xyz.cofe.collection.set.EventSet<ContentFragment> validatedFragments
```
    Проверенные, валидные фрагменты
- Constructor Detail
  - HttpDownloader
```
public HttpDownloader(HttpRequest request)
```
    Конструктор
    
    Parameters:
    
    request - тсочник (URL) с которого качается даные
  - HttpDownloader
```
public HttpDownloader(Mirrors mirrors)
```
    Конструктор
    
    Parameters:
    
    mirrors - источники с которого производится скачивание
- Method Detail
  - getLock
```
public Lock getLock()
```
    Вовзаращает блокировку
    
    Returns:
    
    блокировка
  - setContentBuffer
```
public void setContentBuffer(xyz.cofe.cbuffer.ContentBuffer contentBuffer)
```
    Указывает буффер для content-а
    
    Parameters:
    
    contentBuffer - буффер
  - getContentBuffer
```
public xyz.cofe.cbuffer.ContentBuffer getContentBuffer()
```
    Указывает буффер для content-а
    
    Returns:
    
    contentBuffer буффер
  - getMirrors
```
public Mirrors getMirrors()
```
    Зекрала/источники с которых происходит скачивание контента
    
    Returns:
    
    зекрала
  - getListeners
```
public Set<HttpListener> getListeners()
```
  - addListener
```
public Closeable addListener(HttpListener listener)
```
  - addListener
```
public Closeable addListener(HttpListener listener,
                             boolean weakLink)
```
  - removeListener
```
public void removeListener(HttpListener listener)
```
  - fireEvent
```
public void fireEvent(HttpEvent event)
```
  - isFollowRedirect
```
public boolean isFollowRedirect()
```
    Переходить по redirect
    
    Returns:
    
    true - переход по redirect
  - setFollowRedirect
```
public void setFollowRedirect(boolean followRedirect)
```
    Переходить по redirect
    
    Parameters:
    
    followRedirect - true - переход по redirect
  - getPartialDownloadedSize
```
public long getPartialDownloadedSize()
```
    Указывает объем скаченного контента, который содержиться в фрагментах.
    Код: getFragments().getTotalDownloadedSize()
    
    Returns:
    
    кол-во байт
  - getDownloadedSize
```
public long getDownloadedSize()
```
    Указывает объем скаченного контента.
    Для режима partial - getPartialDownloadedSize()
    Для режима stream - getStreamDownloadedSize()
    
    Returns:
    
    кол-во байт
  - setStreamDownloadedSize
```
protected void setStreamDownloadedSize(long size)
```
    Указывает кол-во байт загруженных в режиме stream
    
    Parameters:
    
    size - кол-во байт загруженных в режиме stream
  - getStreamDownloadedSize
```
public long getStreamDownloadedSize()
```
    Кол-во байт загруженных в режиме stream
    
    Returns:
    
    кол-во байт в режиме stream
  - getContentLength
```
public long getContentLength()
```
    Указывает конечный объем контента (Значение береться из заголовка CONTENT-LENGTH).
    
    Returns:
    
    кол-во байт или -1, если не известно
  - getTotalSize
```
public long getTotalSize()
```
    Возвращает конечный объем конета.
    Для режима stream значение берется из contentLength
    Для режима partial значение берется из downloader.getFragments().getTotalSize()
    
    Returns:
    
    Конечный объем
    
    See Also:
    
    isPartialMode(), getFragments(), getContentLength()
  - isAsync
```
public boolean isAsync()
```
    Работать асинхронно (start)
    
    Returns:
    
    true - работать асинхронно
  - setAsync
```
public void setAsync(boolean async)
```
    Работать асинхронно (start)
    
    Parameters:
    
    async - true - работать асинхронно
  - getThread
```
public Thread getThread()
```
    Возвращает thread в котром происходит исполнение
    
    Returns:
    
    thread
  - isAllowParialContent
```
public boolean isAllowParialContent()
```
    Поддерживать частичную докачку фрагментов
    
    Returns:
    
    true (по умолчанию)
  - setAllowParialContent
```
public void setAllowParialContent(boolean allowParialContent)
```
    Поддерживать частичную докачку фрагментов
    
    Parameters:
    
    allowParialContent - true (по умолчанию)
  - isForcePartialDownload
```
public boolean isForcePartialDownload()
```
    Форсировать частичную докачку, даже если это не требуется
    
    Returns:
    
    false (по умолчанию)
  - setForcePartialDownload
```
public void setForcePartialDownload(boolean forcePartialDownload)
```
    Форсировать частичную докачку, даже если это не требуется
    
    Parameters:
    
    forcePartialDownload - false (по умолчанию)
  - isServerContinueSupported
```
public Boolean isServerContinueSupported()
```
    Указывает, сервер поддерживает докачку
    
    Returns:
    
    null - если не известно, true/false - когда известно
  - setServerContinueSupported
```
protected void setServerContinueSupported(Boolean serverContinueSupported)
```
    Указывает, сервер поддерживает докачку
    
    Parameters:
    
    serverContinueSupported - null - если не известно, true/false - когда известно
  - getMaxParallesGetParts
```
public int getMaxParallesGetParts()
```
    Вовзаращает максимальное возможное кол-во паралельных потоков
    
    Returns:
    
    максимальное возможное кол-во паралельных потоков, по умолчанию = 1
  - setMaxParallesGetParts
```
public void setMaxParallesGetParts(int maxParallesGetParts)
```
    Указывает максимальное возможное кол-во паралельных потоков
    
    Parameters:
    
    maxParallesGetParts - максимальное возможное кол-во паралельных потоков, 1 и больше
  - getContentValidator
```
public ContentValidator getContentValidator()
```
    Проверка скачанного контента
    
    Returns:
    
    проверяющий объект
  - setContentValidator
```
public void setContentValidator(ContentValidator cv)
```
    Проверка скачанного контента
    
    Parameters:
    
    cv - проверяющий объект
  - getFragmentValidator
```
public FragmentValidator getFragmentValidator()
```
    Проверка получения фрагмента
    
    Returns:
    
    проверяющий объект
  - setFragmentValidator
```
public void setFragmentValidator(FragmentValidator fv)
```
    Проверка получения фрагмента
    
    Parameters:
    
    fv - проверяющий объект
  - getFragments
```
public ContentFragments getFragments()
```
    Фрагменты данных
    
    Returns:
    
    фрагменты
  - setFragments
```
protected void setFragments(ContentFragments fragments)
```
    Установка фрагментов
    
    Parameters:
    
    fragments - фрагменты
  - createFragment
```
protected ContentFragment createFragment(long begin,
                                         long end)
```
    Создание фрагмента
    
    Parameters:
    
    begin - начало
    
    end - конец исключительно
    
    Returns:
    
    фрагмент
  - getDefaultFragmentSize
```
public int getDefaultFragmentSize()
```
    Вовзаращает размер фрагмента по умолчанию (64К)
    
    Returns:
    
    размер фрагмента по умолчанию
  - setDefaultFragmentSize
```
public void setDefaultFragmentSize(int defFragmentSize)
```
    Указывает размер фрагмента по умолчанию
    
    Parameters:
    
    defFragmentSize - размер фрагмента по умолчанию, 1 и больше
  - getStarted
```
public Date getStarted()
```
    Дата/время начала закачки (переход в состояние Starting)
    
    Returns:
    
    время начала
  - getFinished
```
public Date getFinished()
```
    Дата/время завершения закачки (перехода в состояние Finished)
    
    Returns:
    
    время завершения
  - getState
```
public HttpDownloader.State getState()
```
    Получение состояния объекта
    
    Returns:
    
    состояние
  - setState
```
protected void setState(HttpDownloader.State newState)
```
  - setStateAndRetEvent
```
protected HttpDownloader.StateChangedEvent setStateAndRetEvent(HttpDownloader.State newState)
```
  - isFinished
```
public boolean isFinished()
```
    Объект находится в конечном состоянии, загрузка не производится
    
    Specified by:
    
    isFinished in interface IsFinished
    
    Returns:
    
    true - конечное состояние
  - getSignal
```
protected HttpDownloader.Signal getSignal()
```
  - setSignal
```
protected void setSignal(HttpDownloader.Signal signal)
```
  - checkSignal
```
protected HttpDownloader.Signal checkSignal()
```
  - pause
```
public void pause()
```
    Сигнал паузы
  - resume
```
public void resume()
```
    Сигнал продолжения - снятие с паузы
  - isPartialMode
```
public boolean isPartialMode()
```
  - setPartialMode
```
protected void setPartialMode(boolean mode)
```
  - start
```
public void start()
```
    Запуск на закачивание. Можно вызывать в состоянии Prepare, Finished
    
    See Also:
    
    HttpDownloader.State
  - start
```
public void start(ContentFragments fragments)
```
    Возобновление скачивания Можно вызывать в состоянии Prepare, Finished
    
    Parameters:
    
    fragments - Фрагменты которые требуется докачать
    
    See Also:
    
    HttpDownloader.State
  - run
```
protected void run(Mirrors mirrors,
                   ContentFragments fragments)
```
    Начало закачки
    
    Parameters:
    
    mirrors - запросы на скачивание
    
    fragments - ранее сохраненное состояние (возможно null)
  - catchFirstResponse
```
protected HttpDownloader.CatchFirstStatus catchFirstResponse(Mirrors mirrors,
                                                             HttpRequest request,
                                                             HttpResponse response,
                                                             ContentFragments fragments)
```
    Захвать первого ответа
    
    Parameters:
    
    mirrors - зеркала с которых производится скачивание
    
    request - запрос
    
    response - ответ
    
    fragments - ранее сохраненное состояние (возможно null)
    
    Returns:
    
    Обработка ответа - repeat=true - повтор запроса
  - isSupportedContinueDownload
```
public static boolean isSupportedContinueDownload(HttpResponse response)
```
  - switchPartialDownload
```
protected void switchPartialDownload(Mirrors mirrors,
                                     HttpRequest request,
                                     HttpResponse firstRes,
                                     ContentFragments fragments)
```
    Переключение в режим фрагментарной загруки из потокового режима
    
    Parameters:
    
    mirrors - зеркала с которых производится скачивание
    
    request - исходный запрос
    
    firstRes - первый ответ
    
    fragments - состояние скаченных фрагментов или null
  - continuePartialDownload
```
protected void continuePartialDownload(Mirrors mirrors,
                                       HttpRequest request)
```
    Продолжение фрагментарной загрузки
    
    Parameters:
    
    mirrors - зеркала
    
    request - текущий запрос
  - createGetPartBuilder
```
protected GetPartBuilder createGetPartBuilder(Mirrors mirrors,
                                              HttpRequest request)
```
    Создание построителя GetPart
    
    Parameters:
    
    mirrors - зеркала
    
    request - Запрос
    
    Returns:
    
    построитель
  - getGetParts
```
public GetPart[] getGetParts()
```
    Возвращает паралельные загрузки
    
    Returns:
    
    загрузки
  - createNewParts
```
protected CreatedNewParts createNewParts(List<ContentFragment> lfragments,
                                         GetPartList gparts,
                                         GetPartBuilder gpBuilder,
                                         WeakHashMap<ContentFragment,GetPart> fragmentGetPart,
                                         WeakHashMap<GetPart,ContentFragment> getPartFragment,
                                         Queue<Runnable> qe)
```
    Создает паралельные запросы на полчение недостающих частей
    
    Parameters:
    
    lfragments - Список недостающих фрагментов
    
    gparts - Паралельные потоки закачек
    
    gpBuilder - Создание паралельного потока закачки
    
    fragmentGetPart - Соответствие недостающий фрагмент - паралельные поток
    
    getPartFragment - Соответствие паралельные поток - недостающий фрагмент
    
    qe - Очередь сообщений
    
    Returns:
    
    Созданые части
  - repeatDownload
```
protected void repeatDownload(ContentFragment cf)
```
    Повтор закачки указанного фрагмента
    
    Parameters:
    
    cf - фрагмент
  - skipDownload
```
protected void skipDownload(ContentFragment cf)
```
    Пропуск закачки указанного фрагмента
    
    Parameters:
    
    cf - фрагмент
  - markDownloaded
```
protected void markDownloaded(ContentFragment cf)
```
    Отметка фрагмента как закаченного
    
    Parameters:
    
    cf - фрагмент
  - checkFinishedParts
```
protected boolean checkFinishedParts(GetPartList gparts,
                                     WeakHashMap<GetPart,ContentFragment> getPartFragment,
                                     WeakHashMap<ContentFragment,GetPart> fragmentGetPart)
```
    Проверить наличие законченных запросов, и удаляет успешно заверненные.
    
    Parameters:
    
    gparts - Список запросов
    
    getPartFragment - Карта запрос - фрагмент
    
    fragmentGetPart - Карта фрагмент - запрос
    
    Returns:
    
    true - прекратить выполнение цикла; false - продолжить выполнение
  - getValidatedFragments
```
public xyz.cofe.collection.set.EventSet<ContentFragment> getValidatedFragments()
```
    Возвращает фрагменты которые валидны
    
    Returns:
    
    валидные фрагменты
  - validateContent
```
protected void validateContent(Mirrors mirrors,
                               HttpRequest request,
                               ContentValidator cv)
```
    Проверка содержимого
    
    Parameters:
    
    mirrors - зеркала с которых производится скачивание
    
    request - исходный запрос
    
    cv - проверяющий
  - addGetPartProgressListener
```
protected void addGetPartProgressListener(Queue<Runnable> qe,
                                          GetPart gp,
                                          ContentFragment cf)
```
    Добавляет подписчика на уведомление о прогрессе
    
    Parameters:
    
    qe - Очередь сообщений
    
    gp - Паралельный поток
    
    cf - Фрагмент данных
  - fireQueueEvents
```
protected void fireQueueEvents(Queue<Runnable> qe)
```
    Разослать все уведомления в очереди
    
    Parameters:
    
    qe - очередь уведомлений
  - checkStopSignal
```
protected boolean checkStopSignal(GetPartList gparts,
                                  WeakHashMap<GetPart,ContentFragment> getPartFragment)
```
    Проверяет сигнал остановки
    
    Parameters:
    
    gparts - паралельные потоки
    
    getPartFragment - Карта поток < = > фрагмент
    
    Returns:
    
    true - завершить работу цикла; false - продолжить
  - checkPauseSignal
```
protected void checkPauseSignal(GetPartList gparts)
```
    Проверяет сигнал паузы
    
    Parameters:
    
    gparts - паралельные потоки
  - continueStreamDownload
```
protected void continueStreamDownload(HttpRequest request,
                                      HttpResponse firstRes)
```
    Продолжение потоковой загрузки
    
    Parameters:
    
    request - запрос
    
    firstRes - первый ответ
  - getProgressCounters
```
public ProgressCounters getProgressCounters()
```
    Общий счетчик попыток
    
    Returns:
    
    Счетчик попыток
  - getTryCounter
```
public MaxCounter getTryCounter()
```
    Общий счетчик попыток
    
    Returns:
    
    Счетчик попыток
  - setTryCounter
```
public void setTryCounter(MaxCounter cnt)
```
    Общий счетчик попыток
    
    Parameters:
    
    cnt - счетчик
  - getTryStartCounter
```
public MaxCounter getTryStartCounter()
```
    Счетчик попыток старта
    
    Returns:
    
    Счетчик попыток
  - setTryStartCounter
```
public void setTryStartCounter(MaxCounter cnt)
```
    Счетчик попыток старта
    
    Parameters:
    
    cnt - счетчик
  - getTryFagmentCounter
```
public OverflowCounter getTryFagmentCounter()
```
  - setTryFagmentCounter
```
public void setTryFagmentCounter(OverflowCounter cnt)
```
  - getMultipleErrorsCounter
```
public MaxCounter getMultipleErrorsCounter()
```
    Счетчик ошибок (более 1 ошибки за раз) старта
    
    Returns:
    
    Счетчик попыток
  - setMultipleErrorsCounter
```
public void setMultipleErrorsCounter(MaxCounter cnt)
```
    Счетчик ошибок (более 1 ошибки за раз) старта
    
    Parameters:
    
    cnt - счетчик
  - getUnknownHostCounter
```
public MaxCounter getUnknownHostCounter()
```
    Счетчик ошибок UnknownHostException
    
    Returns:
    
    счетчик ошибок UnknownHostException
  - setUnknownHostCounter
```
public void setUnknownHostCounter(MaxCounter cnt)
```
  - getHeadersNotExistsCounter
```
public MaxCounter getHeadersNotExistsCounter()
```
    Счетчик ошибок отсуствия заголовка
    
    Returns:
    
    Счетчик ошибок отсуствия заголовка
  - setHeadersNotExistsCounter
```
public void setHeadersNotExistsCounter(MaxCounter cnt)
```
  - getBadStatusCounter
```
public MaxCounter getBadStatusCounter()
```
    Счетчик плохого статуса HTTP ответа
    
    Returns:
    
    Счетчик плохого статуса HTTP ответа
  - setBadStatusCounter
```
public void setBadStatusCounter(MaxCounter cnt)
```
  - getServerErrorCounter
```
public MaxCounter getServerErrorCounter()
```
    Счетчик ошибок сервера, 500 >= HTTP статус
    
    Returns:
    
    Счетчик ошибок сервера, 500 >= HTTP статус
  - setServerErrorCounter
```
public void setServerErrorCounter(MaxCounter cnt)
```
  - getClientErrorCounter
```
public MaxCounter getClientErrorCounter()
```
    Счетчик ошибок клиента, 400 >= HTTP статус < 500
    
    Returns:
    
    Счетчик ошибок клиента, 400 >= HTTP статус < 500
  - setClientErrorCounter
```
public void setClientErrorCounter(MaxCounter cnt)
```
  - getInfoStatusCounter
```
public MaxCounter getInfoStatusCounter()
```
    Счетчик информационных сообщений, 100 >= HTTP статус < 200
    
    Returns:
    
    Счетчик ошибок клиента, 100 >= HTTP статус < 200
  - setInfoStatusCounter
```
public void setInfoStatusCounter(MaxCounter cnt)
```
  - getUnSupportedStatusCounter
```
public MaxCounter getUnSupportedStatusCounter()
```
    Счетчик не поддерживаемых статусов HTTP ответа
    
    Returns:
    
    Счетчик ошибок клиента
  - setUnSupportedStatusCounter
```
public void setUnSupportedStatusCounter(MaxCounter cnt)
```
  - getUriSyntaxErrCounter
```
public MaxCounter getUriSyntaxErrCounter()
```
    Счетчик URISyntaxException
    
    Returns:
    
    Счетчик ошибок клиента
  - setUriSyntaxErrCounterCounter
```
public void setUriSyntaxErrCounterCounter(MaxCounter cnt)
```
  - getUnknownServiceCounter
```
public MaxCounter getUnknownServiceCounter()
```
    Счетчик UnknownServiceException
    
    Returns:
    
    Счетчик ошибок клиента
  - setUnknownServiceCounter
```
public void setUnknownServiceCounter(MaxCounter cnt)
```
  - getSocketTimeoutCounter
```
public MaxCounter getSocketTimeoutCounter()
```
    Счетчик SocketTimeoutException
    
    Returns:
    
    Счетчик ошибок клиента
  - setSocketTimeoutCounter
```
public void setSocketTimeoutCounter(MaxCounter cnt)
```
  - getProtocolErrCounter
```
public MaxCounter getProtocolErrCounter()
```
    Счетчик ProtocolException
    
    Returns:
    
    Счетчик ошибок клиента
  - setProtocolErrCounter
```
public void setProtocolErrCounter(MaxCounter cnt)
```
  - getPortUnreachableCounter
```
public MaxCounter getPortUnreachableCounter()
```
    Счетчик PortUnreachableException
    
    Returns:
    
    Счетчик ошибок клиента
  - setPortUnreachableCounter
```
public void setPortUnreachableCounter(MaxCounter cnt)
```
  - getMalformedURLCounter
```
public MaxCounter getMalformedURLCounter()
```
    Счетчик MalformedURLException
    
    Returns:
    
    Счетчик ошибок клиента
  - setMalformedURLCounter
```
public void setMalformedURLCounter(MaxCounter cnt)
```
  - getHttpRetryCounter
```
public MaxCounter getHttpRetryCounter()
```
    Счетчик HttpRetryException
    
    Returns:
    
    Счетчик ошибок клиента
  - setHttpRetryCounter
```
public void setHttpRetryCounter(MaxCounter cnt)
```
  - getSocketErrCounter
```
public MaxCounter getSocketErrCounter()
```
    Счетчик SocketException
    
    Returns:
    
    Счетчик ошибок клиента
  - setSocketErrCounter
```
public void setSocketErrCounter(MaxCounter cnt)
```
    Счетчик SocketException
    
    Parameters:
    
    cnt - Счетчик ошибок клиента
  - getBindErrCounter
```
public MaxCounter getBindErrCounter()
```
    Счетчик BindException
    
    Returns:
    
    Счетчик ошибок клиента
  - setBindErrCounter
```
public void setBindErrCounter(MaxCounter cnt)
```
    Счетчик BindException
    
    Parameters:
    
    cnt - Счетчик ошибок клиента
  - getConnectErrCounter
```
public MaxCounter getConnectErrCounter()
```
    Счетчик ConnectException
    
    Returns:
    
    Счетчик ошибок клиента
  - setConnectErrCounter
```
public void setConnectErrCounter(MaxCounter cnt)
```
  - getNoRouteToHostCounter
```
public MaxCounter getNoRouteToHostCounter()
```
    Счетчик NoRouteToHostException
    
    Returns:
    
    Счетчик ошибок клиента
  - setNoRouteToHostCounter
```
public void setNoRouteToHostCounter(MaxCounter cnt)
```
  - getWorkTimeCounter
```
public LongCounter getWorkTimeCounter()
```
  - getRequestsCounter
```
public IntCounter getRequestsCounter()
```
  - getCounters
```
public Map<String,Counter> getCounters()
```
    Счетчики
    
    Specified by:
    
    getCounters in interface GetCounters
    
    Returns:
    
    счетчики
  - resetCounters
```
public void resetCounters()
```
    Сброс счетчиков
    
    Specified by:
    
    resetCounters in interface ResetCounters
  - finishStreamDownload
```
protected void finishStreamDownload()
```
    Завершение работы потокогового скачивания
  - finishAsError
```
protected void finishAsError(GetPartList gparts,
                             WeakHashMap<GetPart,ContentFragment> getPartFragment,
                             String message)
```
    Завершить работу паралельных потоков с сообщением.
    Вызывает finishAsError(String message)
    
    Parameters:
    
    gparts - паралельные потоки
    
    getPartFragment - соответствие паралельный поток - фрагмент
    
    message - сообщение
    
    See Also:
    
    finishAsError(java.lang.String)
  - finishAsError
```
protected void finishAsError(String message)
```
    Завершение работы с сообщением
    
    Parameters:
    
    message - сообщение
  - finishPartialDownload
```
protected void finishPartialDownload()
```
    Завершение работы фрагментарного скачивания
  - waitForFinished
```
public void waitForFinished()
```
    Ожидание завершения загрузки. можно вызывать когда работает в параллельном/асинхронном режиме.
    
    See Also:
    
    isAlive()
  - isAlive
```
public boolean isAlive()
```
    Возвращает признак паралельной работы, соответ возможность вызвать методы waitForFinished() и stop()
    
    Returns:
    
    true - объект работает в параллельном/асинхронном режиме.
  - stop
```
public void stop()
```
    прерываение загрузки, можно вызывать когда работает в параллельном/асинхронном режиме.
    
    See Also:
    
    isAlive()
  - onFinished
```
public Closeable onFinished(xyz.cofe.collection.Func1<Object,HttpDownloader> runOnFinsihed)
```
    Вызывать код когда запрос перейдет в состояние finished.
    Вызов можеть производиться из другого потока (если был асихронный вызов).
    Код будет вызван не более одного раза.
    
    Parameters:
    
    runOnFinsihed - код который надо вызвать
    
    Returns:
    
    закрытие объектов

Class HttpDownloader

State machine

Счётчики и обработка ошибок

Nested Class Summary

Field Summary

Constructor Summary

Method Summary

Methods inherited from class java.lang.Object

Field Detail

sequenceID

lock

id

contentBuffer

httpListenerHelper

followRedirect

downloadedSize

streamDownloadedSize

contentLength

async

thread

allowParialContent

forcePartialDownload

serverContinueSupported

maxParallesGetParts

contentValidator

fragmentValidator

fragmentsLock

fragments

defaultFragmentSize

started

finished

state

signal

httpStatusHelper

validatedFragments

Constructor Detail

HttpDownloader

HttpDownloader

Method Detail

getLock

setContentBuffer

getContentBuffer

getMirrors

getListeners

addListener

addListener

removeListener

fireEvent

isFollowRedirect

setFollowRedirect

getPartialDownloadedSize

getDownloadedSize

setStreamDownloadedSize

getStreamDownloadedSize

getContentLength

getTotalSize

isAsync

setAsync

getThread

isAllowParialContent

setAllowParialContent

isForcePartialDownload

setForcePartialDownload

isServerContinueSupported

setServerContinueSupported

getMaxParallesGetParts

setMaxParallesGetParts

getContentValidator

setContentValidator

getFragmentValidator

setFragmentValidator

getFragments

setFragments

createFragment

getDefaultFragmentSize

setDefaultFragmentSize

getStarted

getFinished

getState

setState