SiteScanner (http-base 0.1 API)

java.lang.Object
- xyz.cofe.http.web.SiteScanner

All Implemented Interfaces:

IsFinished
```
public class SiteScanner
extends Object
implements IsFinished
```
Анализирует структуру сайта

Author:

Kamnev Georgiy (nt.gocha@gmail.com)

Nested Class Summary

Nested Classes
Modifier and Type Class and Description

static interface SiteScanner.Listener

static class SiteScanner.ListenerAdapter

Nested Classes
Modifier and Type	Class and Description
`static interface`	`SiteScanner.Listener`
`static class`	`SiteScanner.ListenerAdapter`

Field Summary

Fields
Modifier and Type	Field and Description
`protected Boolean`	`async`
`protected Set<URL>`	`history`
`protected HttpClient`	`httpClient`
`protected xyz.cofe.common.ListenersHelper<SiteScanner.Listener,Object>`	`listeners`
`protected Lock`	`lock`
`protected MimeTypes`	`mimeTypes`
`protected xyz.cofe.collection.Func4<Boolean,HttpHeaders,URL,URL,List<xyz.cofe.collection.Pair<URL,URL>>>`	`redirectValidate`
`protected State`	`state`
`protected Thread`	`thread`

Constructor Summary

Constructors
Constructor and Description

SiteScanner()

Constructors
Constructor and Description
`SiteScanner()`

Method Summary

All Methods Instance Methods Concrete Methods
Modifier and Type	Method and Description
`protected void`	`addHistory(URL url)`
`Closeable`	`addListener(SiteScanner.Listener listener)`
`Closeable`	`addListener(SiteScanner.Listener listener, boolean weakLink)`
`protected boolean`	`allowFollow(Resource res, FollowLink flink)` Проверка возможности перехода со страницы.
`protected boolean`	`allowRedirect(URL from, URL to)` Проверка на возможность перехода по ответу сервера redirect.
`void`	`fireEvent(Object event)`
`Set<URL>`	`getHistory()`
`HttpClient`	`getHttpClient()`
`Set<SiteScanner.Listener>`	`getListeners()`
`MimeTypes`	`getMimeTypes()`
`State`	`getState()`
`Thread`	`getThread()`
`boolean`	`hasListener(SiteScanner.Listener listener)`
`protected Resource`	`inspectResource(URL url)`
`boolean`	`isAsync()` Указывает асинхронный режим
`boolean`	`isFinished()` Возвращает прзнак что объект завершил работу и находится в конечном состоянии
`protected boolean`	`isVisited(URL url)` Проверка что указанный адрес уже числеце в посещенных
`protected void`	`preview(HttpResponse response)`
`void`	`removeListener(SiteScanner.Listener listener)`
`protected void`	`scan(URL url, Resource parent)`
`protected void`	`scan(URL url, Resource resource, Resource referer)`
`protected void`	`scanLinks(Resource r)`
`void`	`setAsync(boolean async)` Указывает асинхронный режим
`void`	`setHttpClient(HttpClient client)`
`void`	`setState(State state)`
`void`	`start(URL url)`
`void`	`stop()` Остановка
`void`	`stop(long waitStopMS, long forceStopMS, long sleepTimeMS)` Остановка скаичвания
`void`	`waitForFinished()` Ожидание завершения загрузки.

Methods inherited from class java.lang.Object
clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

- Field Detail
  - lock
```
protected final Lock lock
```
  - listeners
```
protected final xyz.cofe.common.ListenersHelper<SiteScanner.Listener,Object> listeners
```
  - httpClient
```
protected HttpClient httpClient
```
  - mimeTypes
```
protected MimeTypes mimeTypes
```
  - history
```
protected Set<URL> history
```
  - state
```
protected State state
```
  - async
```
protected Boolean async
```
  - thread
```
protected Thread thread
```
  - redirectValidate
```
protected xyz.cofe.collection.Func4<Boolean,HttpHeaders,URL,URL,List<xyz.cofe.collection.Pair<URL,URL>>> redirectValidate
```
- Constructor Detail
  - SiteScanner
```
public SiteScanner()
```
- Method Detail
  - hasListener
```
public boolean hasListener(SiteScanner.Listener listener)
```
  - getListeners
```
public Set<SiteScanner.Listener> getListeners()
```
  - addListener
```
public Closeable addListener(SiteScanner.Listener listener)
```
  - addListener
```
public Closeable addListener(SiteScanner.Listener listener,
                             boolean weakLink)
```
  - removeListener
```
public void removeListener(SiteScanner.Listener listener)
```
  - fireEvent
```
public void fireEvent(Object event)
```
  - getHttpClient
```
public HttpClient getHttpClient()
```
  - setHttpClient
```
public void setHttpClient(HttpClient client)
```
  - getMimeTypes
```
public MimeTypes getMimeTypes()
```
  - preview
```
protected void preview(HttpResponse response)
```
  - getHistory
```
public Set<URL> getHistory()
```
  - addHistory
```
protected void addHistory(URL url)
```
  - getState
```
public State getState()
```
  - setState
```
public void setState(State state)
```
  - isAsync
```
public boolean isAsync()
```
    Указывает асинхронный режим
    
    Returns:
    
    true - асинхронный; false (по умолч) - синхронный
  - setAsync
```
public void setAsync(boolean async)
```
    Указывает асинхронный режим
    
    Parameters:
    
    async - true - асинхронный; false - синхронный
  - getThread
```
public Thread getThread()
```
  - stop
```
public void stop(long waitStopMS,
                 long forceStopMS,
                 long sleepTimeMS)
```
    Остановка скаичвания
    
    Parameters:
    
    waitStopMS - время через которое повторно посылается сигнал остановки
    
    forceStopMS - время через которое принудительно закрывается thread скачивания
    
    sleepTimeMS - время засыпания потока, или 0 - для передачи Thread.yield()
  - stop
```
public void stop()
```
    Остановка
  - waitForFinished
```
public void waitForFinished()
```
    Ожидание завершения загрузки. можно вызывать когда работает в параллельном/асинхронном режиме.
    
    See Also:
    
    getState()
  - isFinished
```
public boolean isFinished()
```
    Возвращает прзнак что объект завершил работу и находится в конечном состоянии
    
    Specified by:
    
    isFinished in interface IsFinished
    
    Returns:
    
    конечное состояние
  - start
```
public void start(URL url)
```
  - scan
```
protected void scan(URL url,
                    Resource parent)
```
  - scan
```
protected void scan(URL url,
                    Resource resource,
                    Resource referer)
```
  - scanLinks
```
protected void scanLinks(Resource r)
```
  - isVisited
```
protected boolean isVisited(URL url)
```
    Проверка что указанный адрес уже числеце в посещенных
    
    Parameters:
    
    url - адрес
    
    Returns:
    
    true - этот адрес уже посещен
  - allowRedirect
```
protected boolean allowRedirect(URL from,
                                URL to)
```
    Проверка на возможность перехода по ответу сервера redirect.
    Переход возможен если соблюдено след:
    Ссылка введет в на этот же хост
    И Ссылка еще раньше не была обработана
    
    Parameters:
    
    from - откуда
    
    to - целевой адрес
    
    Returns:
    
    true - переход разрешен
  - allowFollow
```
protected boolean allowFollow(Resource res,
                              FollowLink flink)
```
    Проверка возможности перехода со страницы.
    Переход возможен если соблюдено след:
    Ссылка введет в на этот же хост
    И Ссылка еще раньше не была обработана
    
    Parameters:
    
    res - ресурс со страницой
    
    flink - куда переход
    
    Returns:
    
    true - переход разрешен
  - inspectResource
```
protected Resource inspectResource(URL url)
```

Class SiteScanner

Nested Class Summary

Field Summary

Constructor Summary

Method Summary

Methods inherited from class java.lang.Object

Field Detail

lock

listeners

httpClient

mimeTypes

history

state

async

thread

redirectValidate

Constructor Detail

SiteScanner

Method Detail

hasListener

getListeners

addListener

addListener

removeListener

fireEvent

getHttpClient

setHttpClient

getMimeTypes

preview

getHistory

addHistory

getState

setState

isAsync

setAsync

getThread

stop

stop

waitForFinished

isFinished

start

scan

scan

scanLinks

isVisited

allowRedirect

allowFollow

inspectResource