来自杭州的spider

最近一个来自杭州的spider开始出现,agent信息被隐藏,起初以为是个人写的spider在跑,并没有在意,只是简单的封掉IP处理。

可是从半个多月的日志报告上看到,这个spider居然拥有多个不同网段的大量的IP

目前检测到的IP段:

60.177.56.1/24 – 60.177.239.1/24

125.120.16.1/24- 125.120.177.1/24

220.191.37.1/24 – 220.191.37.1/24

封掉一个网段以后,他会自动的切换网段再继续抓取,每天来自这些IP段的spider能抓取上10万的页面,怎么看都不像是个人所为;

也许,在杭州又有一个新的搜索引擎在准备诞生?或者是现在的某家搜索引擎公司在杭州新建了抓取机房?且拭目以待。