com.yishuifengxiao.common.crawler.scheduler

Interface Scheduler

All Known Implementing Classes:

RedisScheduler, SchedulerDecorator, SimpleScheduler

public interface Scheduler

资源调度器
负责资源的调度管理工作
功能如下：
1. 接收所有未过滤的请求任并储存起来
2. 从资源池中获取一个链接
3. 清空资源调度器中所有储存的资源信息

Version:

1.0.0

Author:

yishui

Method Summary

Modifier and Type	Method and Description
void	clear(Task task) 清空任务
Request	poll(Task task) 从资源调度器里获取一个请求任务
void	push(Task task, Request request) 接收所有的请求任并存储起来

Method Detail

push

void push(Task task,
          Request request)

接收所有的请求任并存储起来

Parameters:

task - 当前任务的任务信息

requests - 未过滤的请求任务，可能会存在重复和已爬取等情况

poll

Request poll(Task task)

从资源调度器里获取一个请求任务

Parameters:

task - 当前任务的任务信息

Returns:

需要执行的请求任务

clear

void clear(Task task)

清空任务

Parameters:

task - 当前任务的任务信息