Crawler (wind-bell-码云(gitee.com))

java.lang.Object
- com.yishuifengxiao.common.crawler.Crawler

All Implemented Interfaces:

Task
```
public class Crawler
extends Object
implements Task
```
风铃虫

Version:

1.0.0

Author:

yishui

Constructor Summary

Constructors
Modifier Constructor and Description

protected Crawler(CrawlerRule crawlerRule)
构建函数
注意此构造方法不会校验规则定义

Constructors
Modifier	Constructor and Description
`protected`	`Crawler(CrawlerRule crawlerRule)` 构建函数注意此构造方法不会校验规则定义

Method Summary

All Methods Static Methods Instance Methods Concrete Methods
Modifier and Type	Method and Description
`Crawler`	`addExtra(Map<String,Object> map)` 设置风铃虫携带的额外信息此设置不会清空原始的额外信息，而是将新的数据追加到原始的数据上
`void`	`clear()` 清空数据
`static Crawler`	`create(CrawlerRule crawlerRule)` 创建一个默认的风铃虫实例
`long`	`getAllTaskCount()` 获取所有的任务总数注意此数量是在变化的，且应该在任务启动后调用
`ContentExtract`	`getContentExtract()` 获取内容解析器
`CrawlerListener`	`getCrawlerListener()` 获取事件监听器
`CrawlerRule`	`getCrawlerRule()` 获取风铃虫定义规则
`Downloader`	`getDownloader()` 获取网页下载器
`DuplicateRemover`	`getDuplicateRemover()` 获取请求去重器
`Map<String,Object>`	`getExtra()` 获取创建风铃虫实例时传递的额外数据信息
`long`	`getExtractedTaskCount()` 获取本实例已经解析成功的网页的数量注意此数量是在变化的，且应该在任务启动后调用
`long`	`getFailTaskCount()` 获取本实例已经解析失败的网页的数量注意此数量是在变化的，且应该在任务启动后调用
`LinkExtract`	`getLinkExtract()` 设置链接解析器
`String`	`getName()` 获取风铃虫实例的名字
`Pipeline`	`getPipeline()` 获取信息输出器
`RequestCache`	`getRequestCache()` 设置资源缓存器
`Scheduler`	`getScheduler()` 获取资源调度器
`LocalDateTime`	`getStartTime()` 获取风铃虫实例的启动时间
`Statu`	`getStatu()` 获取风铃虫的状态
`StatuObserver`	`getStatuObserver()` 获取状态监听器
`ThreadPoolExecutor`	`getThreadPool()`
`String`	`getUuid()` 该实例唯一的标识符
`boolean`	`isRun()` 风铃虫是否正在运行状态
`void`	`run()` 同步启动一个一个风铃虫实例
`Crawler`	`setContentExtract(ContentExtract contentExtract)` 设置内容解析器
`Crawler`	`setCrawlerListener(CrawlerListener crawlerListener)` 设置事件监听器
`Crawler`	`setDownloader(Downloader downloader)` 设置网页下载器
`Crawler`	`setDuplicateRemover(DuplicateRemover duplicateRemover)` 设置请求去重器
`Crawler`	`setExtra(Map<String,Object> map)` 设置风铃虫携带的额外信息此设置会清空原始的额外信息
`Crawler`	`setExtra(String key, Object value)` 设置风铃虫额外信息
`Crawler`	`setLinkExtract(LinkExtract linkExtract)` 设置链接解析器
`Crawler`	`setName(String name)` 设置风铃虫实例的名字
`Crawler`	`setPipeline(Pipeline pipeline)` 设置信息输出器
`Crawler`	`setRequestCache(RequestCache requestCache)` 设置资源缓存器
`Crawler`	`setScheduler(Scheduler scheduler)` 设置资源调度器
`Crawler`	`setStatuObserver(StatuObserver statuObserver)` 设置状态监听器
`Crawler`	`setThreadPool(ThreadPoolExecutor threadPool)`
`void`	`start()` 异步启动一个一个风铃虫实例
`void`	`stop()` 停止运行
`static SimulatorData`	`testContent(String url, SiteRule siteRule, ExtractRule contentExtractRule)` 测试内容提取规则使用默认下载器
`static SimulatorData`	`testContent(String url, SiteRule siteRule, ExtractRule contentExtractRule, Downloader downloader)` 测试内容提取规则使用自定义下载器
`static SimulatorData`	`testDown(String url, SiteRule siteRule)` 测试网页下载器使用默认下载器
`static SimulatorData`	`testDown(String url, SiteRule siteRule, Downloader downloader)` 测试网页下载器使用自定义下载器
`static SimulatorData`	`testLink(String url, SiteRule siteRule, LinkRule linkRule)` 测试链接提取规则使用默认下载器
`static SimulatorData`	`testLink(String url, SiteRule siteRule, LinkRule linkRule, Downloader downloader)` 测试链接提取规则使用自定义下载器
`static SimulatorData`	`testMatcher(String url, SiteRule siteRule, ContentRule content)` 内容匹配测试
`static SimulatorData`	`testMatcher(String url, SiteRule siteRule, ContentRule content, Downloader downloader)` 内容匹配测试
`String`	`toString()`

Methods inherited from class java.lang.Object
clone, equals, finalize, getClass, hashCode, notify, notifyAll, wait, wait, wait

- Constructor Detail
  - Crawler
```
protected Crawler(CrawlerRule crawlerRule)
```
    构建函数
    注意此构造方法不会校验规则定义
    
    Parameters:
    
    crawlerRule -
- Method Detail
  - start
```
public void start()
```
    异步启动一个一个风铃虫实例
    
    Specified by:
    
    start in interface Task
  - run
```
public void run()
```
    同步启动一个一个风铃虫实例
  - stop
```
public void stop()
```
    停止运行
    
    Specified by:
    
    stop in interface Task
  - clear
```
public void clear()
```
    清空数据
  - create
```
public static Crawler create(CrawlerRule crawlerRule)
```
    创建一个默认的风铃虫实例
    
    Parameters:
    
    crawlerRule - 规定定义
    
    Returns:
    
    风铃虫实例
  - testDown
```
public static final SimulatorData testDown(String url,
                                           SiteRule siteRule)
```
    测试网页下载器
    使用默认下载器
    
    Parameters:
    
    url - 测试网页的地址
    
    siteRule - 站点规则
    
    Returns:
    
    测试结果
  - testDown
```
public static final SimulatorData testDown(String url,
                                           SiteRule siteRule,
                                           Downloader downloader)
```
    测试网页下载器
    使用自定义下载器
    
    Parameters:
    
    url - 测试网页的地址
    
    siteRule - 站点规则
    
    downloader - 网页下载器
    
    Returns:
    
    测试结果
  - testContent
```
public static final SimulatorData testContent(String url,
                                              SiteRule siteRule,
                                              ExtractRule contentExtractRule)
```
    测试内容提取规则
    使用默认下载器
    
    Parameters:
    
    url - 测试网页的地址
    
    siteRule - 站点规则
    
    contentExtractRule - 内容提取规则
    
    Returns:
    
    测试结果
  - testContent
```
public static final SimulatorData testContent(String url,
                                              SiteRule siteRule,
                                              ExtractRule contentExtractRule,
                                              Downloader downloader)
```
    测试内容提取规则
    使用自定义下载器
    
    Parameters:
    
    url - 测试网页的地址
    
    siteRule - 站点规则
    
    contentExtractRule - 内容提取规则
    
    downloader - 网页下载器
    
    Returns:
    
    测试结果
  - testMatcher
```
public static final SimulatorData testMatcher(String url,
                                              SiteRule siteRule,
                                              ContentRule content)
```
    内容匹配测试
    
    Parameters:
    
    url - 测试目标地址
    
    siteRule - 站点规则
    
    content - 内容解析规则
    
    Returns:
    
    测试结果
  - testMatcher
```
public static final SimulatorData testMatcher(String url,
                                              SiteRule siteRule,
                                              ContentRule content,
                                              Downloader downloader)
```
    内容匹配测试
    
    Parameters:
    
    url - 测试目标地址
    
    siteRule - 站点规则
    
    content - 内容解析规则
    
    downloader - 下载器
    
    Returns:
    
    测试结果
  - testLink
```
public static final SimulatorData testLink(String url,
                                           SiteRule siteRule,
                                           LinkRule linkRule)
```
    测试链接提取规则
    使用默认下载器
    
    Parameters:
    
    url - 测试目标地址
    
    siteRule - 站点规则
    
    linkRule - 链接提取规则
    
    Returns:
    
    测试结果
  - testLink
```
public static final SimulatorData testLink(String url,
                                           SiteRule siteRule,
                                           LinkRule linkRule,
                                           Downloader downloader)
```
    测试链接提取规则
    使用自定义下载器
    
    Parameters:
    
    url - 测试目标地址
    
    siteRule - 站点规则
    
    linkRule - 链接提取规则
    
    downloader - 网页下载器
    
    Returns:
    
    测试结果
  - isRun
```
public boolean isRun()
```
    风铃虫是否正在运行状态
    
    Returns:
  - getCrawlerRule
```
public CrawlerRule getCrawlerRule()
```
    获取风铃虫定义规则
    
    Specified by:
    
    getCrawlerRule in interface Task
    
    Returns:
  - getDownloader
```
public Downloader getDownloader()
```
    获取网页下载器
    
    Returns:
    
    网页下载器
  - setDownloader
```
public Crawler setDownloader(Downloader downloader)
```
    设置网页下载器
    
    Parameters:
    
    downloader - 网页下载器
    
    Returns:
  - getScheduler
```
public Scheduler getScheduler()
```
    获取资源调度器
    
    Returns:
  - getCrawlerListener
```
public CrawlerListener getCrawlerListener()
```
    获取事件监听器
  - setCrawlerListener
```
public Crawler setCrawlerListener(CrawlerListener crawlerListener)
```
    设置事件监听器
    
    Parameters:
    
    crawlerListener - 事件监听器
    
    Returns:
  - getLinkExtract
```
public LinkExtract getLinkExtract()
```
    设置链接解析器
    
    Returns:
  - setLinkExtract
```
public Crawler setLinkExtract(LinkExtract linkExtract)
```
    设置链接解析器
    
    Parameters:
    
    linkExtract - 链接解析器
    
    Returns:
  - getContentExtract
```
public ContentExtract getContentExtract()
```
    获取内容解析器
    
    Returns:
  - setContentExtract
```
public Crawler setContentExtract(ContentExtract contentExtract)
```
    设置内容解析器
    
    Parameters:
    
    contentExtract -
    
    Returns:
  - getPipeline
```
public Pipeline getPipeline()
```
    获取信息输出器
    
    Returns:
  - setPipeline
```
public Crawler setPipeline(Pipeline pipeline)
```
    设置信息输出器
    
    Parameters:
    
    pipeline -
    
    Returns:
  - getThreadPool
```
public ThreadPoolExecutor getThreadPool()
```
  - setThreadPool
```
public Crawler setThreadPool(ThreadPoolExecutor threadPool)
```
  - getRequestCache
```
public RequestCache getRequestCache()
```
    设置资源缓存器
    
    Returns:
  - setRequestCache
```
public Crawler setRequestCache(RequestCache requestCache)
```
    设置资源缓存器
    
    Parameters:
    
    requestCache - 资源缓存器
    
    Returns:
  - getStatuObserver
```
public StatuObserver getStatuObserver()
```
    获取状态监听器
    
    Returns:
  - setStatuObserver
```
public Crawler setStatuObserver(StatuObserver statuObserver)
```
    设置状态监听器
    
    Parameters:
    
    statuObserver - 状态监听器
    
    Returns:
  - setScheduler
```
public Crawler setScheduler(Scheduler scheduler)
```
    设置资源调度器
    
    Parameters:
    
    scheduler - 资源调度器
    
    Returns:
  - getAllTaskCount
```
public long getAllTaskCount()
```
    获取所有的任务总数
    注意此数量是在变化的，且应该在任务启动后调用
    
    Specified by:
    
    getAllTaskCount in interface Task
    
    Returns:
  - getExtractedTaskCount
```
public long getExtractedTaskCount()
```
    获取本实例已经解析成功的网页的数量
    注意此数量是在变化的，且应该在任务启动后调用
    
    Specified by:
    
    getExtractedTaskCount in interface Task
    
    Returns:
  - getFailTaskCount
```
public long getFailTaskCount()
```
    获取本实例已经解析失败的网页的数量
    注意此数量是在变化的，且应该在任务启动后调用
    
    Specified by:
    
    getFailTaskCount in interface Task
    
    Returns:
  - getName
```
public String getName()
```
    获取风铃虫实例的名字
    
    Specified by:
    
    getName in interface Task
    
    Returns:
    
    风铃虫实例的名字
  - setName
```
public Crawler setName(String name)
```
    设置风铃虫实例的名字
    
    Parameters:
    
    name - 风铃虫实例的名字
    
    Returns:
    
    风铃虫实例
  - getUuid
```
public String getUuid()
```
    该实例唯一的标识符
    
    Specified by:
    
    getUuid in interface Task
    
    Returns:
    
    实例的唯一ID
  - getStartTime
```
public LocalDateTime getStartTime()
```
    获取风铃虫实例的启动时间
    
    Specified by:
    
    getStartTime in interface Task
    
    Returns:
  - getStatu
```
public Statu getStatu()
```
    获取风铃虫的状态
    
    Specified by:
    
    getStatu in interface Task
    
    Returns:
  - getDuplicateRemover
```
public DuplicateRemover getDuplicateRemover()
```
    获取请求去重器
    
    Returns:
    
    请求去重器
  - setDuplicateRemover
```
public Crawler setDuplicateRemover(DuplicateRemover duplicateRemover)
```
    设置请求去重器
    
    Parameters:
    
    duplicateRemover - 请求去重器
    
    Returns:
  - setExtra
```
public Crawler setExtra(Map<String,Object> map)
```
    设置风铃虫携带的额外信息
    此设置会清空原始的额外信息
    
    Parameters:
    
    map - 额外信息
    风铃虫不会对这些额外信息进行处理
    
    Returns:
  - addExtra
```
public Crawler addExtra(Map<String,Object> map)
```
    设置风铃虫携带的额外信息
    此设置不会清空原始的额外信息，而是将新的数据追加到原始的数据上
    
    Parameters:
    
    map - 额外信息
    风铃虫不会对这些额外信息进行处理
    
    Returns:
  - setExtra
```
public Crawler setExtra(String key,
                        Object value)
```
    设置风铃虫额外信息
    
    Parameters:
    
    key - 额外信息的键
    该键不能为空，否则会设置不成功
    
    value - 额外信息的值
    
    Returns:
  - getExtra
```
public Map<String,Object> getExtra()
```
    获取创建风铃虫实例时传递的额外数据信息
    
    Specified by:
    
    getExtra in interface Task
    
    Returns:
    
    附带的额外数据信息
  - toString
```
public String toString()
```
    Overrides:
    
    toString in class Object

Class Crawler

Constructor Summary

Method Summary

Methods inherited from class java.lang.Object

Constructor Detail

Crawler

Method Detail

start

run

stop

clear

create

testDown

testDown

testContent

testContent

testMatcher

testMatcher

testLink

testLink

isRun

getCrawlerRule

getDownloader

setDownloader

getScheduler

getCrawlerListener

setCrawlerListener

getLinkExtract

setLinkExtract

getContentExtract

setContentExtract

getPipeline

setPipeline

getThreadPool

setThreadPool

getRequestCache

setRequestCache

getStatuObserver

setStatuObserver

setScheduler

getAllTaskCount

getExtractedTaskCount

getFailTaskCount

getName

setName

getUuid

getStartTime

getStatu

getDuplicateRemover

setDuplicateRemover

setExtra

addExtra

setExtra

getExtra

toString