Package com.yishuifengxiao.common.crawler.scheduler.remover

Interface Summary

Interface	Description
DuplicateRemover	请求去重器 用于在调度器存储任务之前进行重复任务判断，判断该任务是否已经存在过

Class Summary

Class	Description
HostDuplicateRemover	无查询参数去重器 去除URL上所有的查询参数的简单去重器
SimpleDuplicateRemover	全路径去重器 简单实现的请求去重器