Serialized Form (wind-bell-码云(gitee.com))

Package com.yishuifengxiao.common.crawler.domain.entity
- Class com.yishuifengxiao.common.crawler.domain.entity.CrawlerData extends Object implements Serializable
  
  serialVersionUID:
  
  7545122886076123689L
  - Serialized Fields
    - data
```
Map<K,V> data
```
      页面里存储的数据
    - rawTxt
```
String rawTxt
```
      抓取的网页原始文本
    - task
```
Task task
```
      当前输出数据所属的任务的信息
    - request
```
Request request
```
      当前的请求任务信息
    - redirectUrl
```
String redirectUrl
```
      具备重定向功能的下载器在请求时重定向之后的地址,可能会为空
- Class com.yishuifengxiao.common.crawler.domain.entity.CrawlerRule extends Object implements Serializable
  
  serialVersionUID:
  
  -3777184037897778033L
  - Serialized Fields
    - interval
```
Long interval
```
      每次请求的间隔时间，单位为毫秒，间隔时间为0到该值得两倍之间的一个随机数
      防止因频繁请求而导致服务器封杀，该值必须不小于0，若该值为0表示不开启此功能
      默认为10000 毫秒(10秒)
    - waitTime
```
Long waitTime
```
      超时等待时间，单位为秒,默认为300000毫秒(300秒),连续间隔多长时间后没有新的请求任务表明此任务已经结束
    - threadNum
```
Integer threadNum
```
      内容解析时使用到的线程数，默认值为主机CPU的核心数
    - site
```
SiteRule site
```
      站点规则
    - link
```
LinkRule link
```
      链接解析规则
    - content
```
ContentRule content
```
      内容解析规则,根据此规则判断哪些页面是内容页，需要进行数据提取操作
    - rules
```
List<E> rules
```
      内容提取规则
- Class com.yishuifengxiao.common.crawler.domain.entity.Page extends Object implements Serializable
  
  serialVersionUID:
  
  -2146316828212720052L
  - Serialized Fields
    - outData
```
Map<K,V> outData
```
      该页面里所有提取出来的数据
    - code
```
int code
```
      响应码
    - request
```
Request request
```
      对应页面的请求任务
    - redirectUrl
```
String redirectUrl
```
      具备重定向功能的下载器在请求时重定向之后的地址
    - rawTxt
```
String rawTxt
```
      对应的页面的原始文本
    - links
```
List<E> links
```
      该页面里所有的超链接
    - isSkip
```
boolean isSkip
```
      是否跳过该页面的解析
- Class com.yishuifengxiao.common.crawler.domain.entity.Request extends Object implements Serializable
  
  serialVersionUID:
  
  -2594453434210798576L
  - Serialized Fields
    - url
```
String url
```
      请求的目标地址
    - method
```
String method
```
      请求的方法，默认为GET请求
    - referrer
```
String referrer
```
      请求的来源地址(默认为请求的目标地址被提取出来的页面的地址)
    - userAgent
```
String userAgent
```
      浏览器标志
    - connectTimeout
```
int connectTimeout
```
      确定连接建立之前的超时时间（以毫秒为单位）。
    - priority
```
long priority
```
      请求的优先级，数组越大优先级越高
    - depth
```
long depth
```
      请求的深度，起始请求的深度为0
    - extras
```
Map<K,V> extras
```
      需要额外携带的参数信息
    - cookies
```
Map<K,V> cookies
```
      当前请求时的携带的cookie信息
    - headers
```
Map<K,V> headers
```
      当前请求时的请求头
- Class com.yishuifengxiao.common.crawler.domain.entity.SimulatorData extends Object implements Serializable
  
  serialVersionUID:
  
  3200425841448559923L
  - Serialized Fields
    - success
```
Boolean success
```
      测试是否否成功，true表示成功，false表示失败
    - msg
```
String msg
```
      提示信息
    - data
```
Object data
```
      结果数据
Package com.yishuifengxiao.common.crawler.domain.model
- Class com.yishuifengxiao.common.crawler.domain.model.ContentRule extends Object implements Serializable
  
  serialVersionUID:
  
  -4675000242006133909L
  - Serialized Fields
    - contentPageRule
```
MatcherRule contentPageRule
```
      内容页地址规则,即只有该规则的网页内容才会被提取,多个规则用半角逗号隔开
    - pageRule
```
PageRule pageRule
```
      根据网页的内容判断此网页是否需要进行内容提取操作，可与内容页规则参数配合使用
- Class com.yishuifengxiao.common.crawler.domain.model.ExtractFieldRule extends Object implements Serializable
  
  serialVersionUID:
  
  -6972666882676555351L
  - Serialized Fields
    - rule
```
Rule rule
```
      内容处理策略，直接获取、CSS提取、XPATH提取，正则提取,替换内容，移除内容等，不能为空
    - param1
```
String param1
```
      第一个参数
    - param2
```
String param2
```
      第二个参数，部分规则下生效（如替换时作为替换目标）
    - sort
```
Integer sort
```
      处理序号，在同一组属性提取规则中，处理序号小的属性提取规则会先执行
- Class com.yishuifengxiao.common.crawler.domain.model.ExtractRule extends Object implements Serializable
  
  serialVersionUID:
  
  -7745781283922404878L
  - Serialized Fields
    - name
```
String name
```
      内容提取项名字
    - code
```
String code
```
      内容提取项代码，同一组内容提取规则里每一个内容提起项的编码必须唯一
    - descp
```
String descp
```
      内容提取项描述
    - rules
```
List<E> rules
```
      属性提取规则，可以通过多个属性提取规则自由排列组合来决定最终如何提取出来对应的数据
- Class com.yishuifengxiao.common.crawler.domain.model.HeaderRule extends Object implements Serializable
  
  serialVersionUID:
  
  5229074282610578282L
  - Serialized Fields
    - headerName
```
String headerName
```
      请求头参数的名字,不能为中文
    - headerValue
```
String headerValue
```
      请求头参数的值,不能为中文
- Class com.yishuifengxiao.common.crawler.domain.model.LinkRule extends Object implements Serializable
  
  serialVersionUID:
  
  -3417006572526049049L
  - Serialized Fields
    - startUrl
```
String startUrl
```
      起始链接，多个起始链接之间用半角逗号隔开
    - rules
```
Set<E> rules
```
      链接提取规则
- Class com.yishuifengxiao.common.crawler.domain.model.MatcherRule extends Object implements Serializable
  
  serialVersionUID:
  
  4205510200531436262L
  - Serialized Fields
    - pattern
```
Pattern pattern
```
      链接匹配模式
    - expression
```
String expression
```
      匹配表达式
      在非正则模式下，匹配表达式可以包含多个参数，多个参数之间用半角逗号隔开，这个多个参数之间是与连接(&&)的关系
- Class com.yishuifengxiao.common.crawler.domain.model.PageRule extends Object implements Serializable
  
  serialVersionUID:
  
  -8353534130930776695L
  - Serialized Fields
    - type
```
Type type
```
      内容匹配类型,默认不进行内容匹配
    - pattern
```
String pattern
```
      内容匹配参数
    - target
```
String target
```
      期待匹配值
    - mode
```
Boolean mode
```
      匹配模式，true表示必须包含期待匹配参数，false标识不能包含期待匹配参数
    - caseSensitive
```
Boolean caseSensitive
```
      是否大小写敏感，即进行匹配时是否为大小写敏感，默认为 false
    - fuzzy
```
Boolean fuzzy
```
      是否为模糊匹配，默认为true
- Class com.yishuifengxiao.common.crawler.domain.model.SiteRule extends Object implements Serializable
  
  serialVersionUID:
  
  4740150684464167910L
  - Serialized Fields
    - userAgent
```
String userAgent
```
      浏览器标志，默认值为空，表示系统从众多内置标识符中随机选择一个
    - referrer
```
String referrer
```
      用于指明当前流量的来源参考页面，默认为空，表示系统设置为当前请求的网页值
    - cacheControl
```
String cacheControl
```
      网页缓存策略，默认为 max-age=0
    - cookieValue
```
String cookieValue
```
      请求的cookie，默认为空
    - maxDepth
```
long maxDepth
```
      最大的请求深度，此值为0或负数时表示不进行深度限制，默认不进行深度限制
    - retryCount
```
int retryCount
```
      失败重试次数，请求失败时重新执行此请求的次数,默认为3
    - failureMark
```
String failureMark
```
      封杀标志，下载内容里包含此值时表示被服务器拦截，使用正则表达式，如果为空则不进行此校验
    - interceptCount
```
Integer interceptCount
```
      封杀阀域值，连续多次在下载内容中获取到失败标识时的重试此次，超过此次数会关闭该风铃虫实例，默认为5
    - cookieSpec
```
String cookieSpec
```
      确定用于HTTP状态管理的cookie规范的名称
      值参考 CookieSpecs ,默认为 null
    - redirectsEnabled
```
boolean redirectsEnabled
```
      确定是否应自动处理重定向。
      默认为true
    - relativeRedirectsAllowed
```
boolean relativeRedirectsAllowed
```
      确定是否应拒绝相对重定向。 HTTP规范要求位置值是绝对URI。 默认为false
    - circularRedirectsAllowed
```
boolean circularRedirectsAllowed
```
      确定是否应允许循环重定向（重定向到同一位置）。 HTTP规范不够清楚是否允许循环重定向，因此可以选择启用它们
      默认为false
    - maxRedirects
```
int maxRedirects
```
      返回要遵循的最大重定向数。重定向次数的限制旨在防止无限循环
      默认为50
    - connectTimeout
```
int connectTimeout
```
      确定连接建立之前的超时时间（以毫秒为单位）。超时值零被解释为无限超时，负值被解释为未定义（如果适用，则为系统默认值）。 默认为30秒(30000毫秒)
    - contentCompressionEnabled
```
boolean contentCompressionEnabled
```
      确定是否请求目标服务器压缩内容。 默认为true
    - normalizeUri
```
boolean normalizeUri
```
      确定客户端是否应规范请求中的URI。 默认为true
    - headers
```
List<E> headers
```

Serialized Form

Package com.yishuifengxiao.common.crawler.domain.entity

Class com.yishuifengxiao.common.crawler.domain.entity.CrawlerData extends Object implements Serializable

Serialized Fields

data

rawTxt

task

request

redirectUrl

Class com.yishuifengxiao.common.crawler.domain.entity.CrawlerRule extends Object implements Serializable

Serialized Fields

interval

waitTime

threadNum

site

link

content

rules

Class com.yishuifengxiao.common.crawler.domain.entity.Page extends Object implements Serializable

Serialized Fields

outData

code

request

redirectUrl

rawTxt

links

isSkip

Class com.yishuifengxiao.common.crawler.domain.entity.Request extends Object implements Serializable

Serialized Fields

url

method

referrer

userAgent

connectTimeout

priority

depth

extras

cookies

headers

Class com.yishuifengxiao.common.crawler.domain.entity.SimulatorData extends Object implements Serializable

Serialized Fields

success

msg

data

Package com.yishuifengxiao.common.crawler.domain.model

Class com.yishuifengxiao.common.crawler.domain.model.ContentRule extends Object implements Serializable

Serialized Fields

contentPageRule

pageRule

Class com.yishuifengxiao.common.crawler.domain.model.ExtractFieldRule extends Object implements Serializable

Serialized Fields

rule

param1

param2

sort

Class com.yishuifengxiao.common.crawler.domain.model.ExtractRule extends Object implements Serializable

Serialized Fields

name

code

descp

rules

Class com.yishuifengxiao.common.crawler.domain.model.HeaderRule extends Object implements Serializable

Serialized Fields

headerName

headerValue

Class com.yishuifengxiao.common.crawler.domain.model.LinkRule extends Object implements Serializable

Serialized Fields

startUrl

rules

Class com.yishuifengxiao.common.crawler.domain.model.MatcherRule extends Object implements Serializable

Serialized Fields

pattern

expression

Class com.yishuifengxiao.common.crawler.domain.model.PageRule extends Object implements Serializable

Serialized Fields

type

pattern

target

mode

caseSensitive