com.yishuifengxiao.common.crawler.cache

Interface RequestCache

All Known Implementing Classes:

InMemoryRequestCache, RedisRequestCache

public interface RequestCache

请求任务缓存器
主要是用于判断此请求任务是否曾经存在过,用于协助完成请求去重
功能如下：
1 查询此请求任务是否存在于指定的的请求任务集合中
2 将请求任务存储到指定名字的集合中
3 清空指定的请求任务缓存集合
4 查询指定请求任务缓存集合里的请求任务数量

Version:

1.0.0

Author:

yishui

Method Summary

Modifier and Type	Method and Description
boolean	exist(Task task, Request request) 先查找请求任务是否在集合中存在
long	getCount(Task task) 获取指定缓存集合的请求任务数量
boolean	lookAndCache(Task task, Request request) 先查找请求任务是否在集合中存在,然后将该请求任务存储到此集合中
void	remove(Task task) 移除指定的缓存集合
void	save(Task task, Request request) 将请求任务存储到指定的集合名中

Method Detail

save

void save(Task task,
          Request request)

将请求任务存储到指定的集合名中

Parameters:

task - 风铃虫任务

request - 请求任务

lookAndCache

boolean lookAndCache(Task task,
                     Request request)

先查找请求任务是否在集合中存在,然后将该请求任务存储到此集合中

Parameters:

task - 风铃虫任务

request - 请求任务

Returns:

如果存在则返回为true，否则为fasle

exist

boolean exist(Task task,
              Request request)

先查找请求任务是否在集合中存在

Parameters:

task - 风铃虫任务

request - 请求任务

Returns:

如果存在则返回为true，否则为fasle

remove

void remove(Task task)

移除指定的缓存集合

Parameters:

task - 风铃虫任务

getCount

long getCount(Task task)

获取指定缓存集合的请求任务数量

Parameters:

task - 风铃虫任务

Returns:

缓存集合里请求任务值的数量