上星期開始, 家裡網站的流量大增, 查了一下 apache 的 log, 發現都是由 sosospider 過來抓資料的記錄. 一般來說, 我這兒對於網路上頭的 spider 幾乎沒什麼限制, 而多數的 spider 也不會一次大量不間斷的存取, 但是... 這個 sosospider 就不同了, 同一時間可以有超過 50 個以上的 session 在抓資料, 而且... 連續幾小時完全沒看到有終止的情形. 就我而言, 我會認定這是一種攻擊行為, 而不是正常的存取. 上網查了一下, 果然... 有不少人對這個 spider 十分反感.雖然在該 spider 的說明中, 提到了如何避免他們的 spider 查詢, 不過... 依據實際的經驗, 這個 spider 完全不去抓網站的 robots.txt, 那他們上頭寫的那些不就是廢話嗎? 設了 robots.txt, 一點作用都沒有.
試過在 apache 中的 .htaccess 把 User-Agent 有 Sosospider 的擋掉, 不過... 我試了一下, 發現沒什麼作用, 懶的去查原因, 決定用最根本的方式解決, 直接用 iptables 把他們用的網段給擋了.
iptables -A INPUT -s 124.115.0.0/24 -j DROP
iptables -A INPUT -s 124.115.4.0/24 -j DROP
如果不小心擋了該網段其他的正常使用者的話, 請去找 soso 詢問吧, 我們也是被逼的 (不過... 你們應該也看不到這篇才對).
我之前也有遇過一個,是韓國的網站~
確實很討厭 !!
用在线feed阅读工具就看到你的blog啦。
PS：soso是大陆腾讯属下的搜索引擎，他家的东西很多都不太靠谱。
＝＝＝＝＝＝＝＝＝＝＝＝引用＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
[1] Re:另人厭惡的 sosospider [ 回覆 ]
用在线feed阅读工具就看到你的blog啦。
PS：soso是大陆腾讯属下的搜索引擎，他家的东西很多都不太靠谱。
作者 joecen | 03/03/2008, 16:00
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
嘻嘻，那個爛Tencent跑到TW了？呵呵～～
不僅這個SOSO，Tencent的產品都很垃圾～可惜的是，在大陸很多人都用它的IM軟件－QQ。官方版的QQ是公認的世界上最大IM，其編程能力是在是低，效率低下的同時也很流氓～最討厭的是，沒有For Linux的官方版。在Ubuntu下只好用第三方，但它又經常改協議，用WINE它又不穩定，气人吶～～
無奈的是由于身邊很多人都用，我也不得不回XP上QQ～嗚嗚嗚～
PS：打繁体真不習慣，哈哈～～
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
官方版的QQ是公認的世界上最大IM
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
寫漏了，應該是
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
官方版的QQ是公認的世界上軟件体蹟最大的IM；很多東西，你不想用也關不了
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝