第(2/3)頁

    一般來說能夠遵守robots協議來使用這項技術都是沒問題的。

    但事實上，網絡上遍布的許多網絡爬蟲，干的都不是人事。

    跟所有人息息相關網絡爬蟲案例就是黃牛搶票。

    比如全球被各種網絡爬蟲光顧最多的就是12306。

    每到節假日，尤其是五一、十一、春運這樣的出行高峰，熱門地區的火車票總會特別難搶，甚至是秒空。而且這個時候12306軟件都很難打開，基本也都是拜這種網絡爬蟲所賜。

    根據統計，華夏12306點擊量最高峰曾達到59億次/小時，平均每秒就有160多萬次點擊。顯然不是正常用戶能刷出來的數字。

    官方程序也通過各種升級驗證碼，來防止黃牛搶票，甚至有一段時間，那些堪稱變態級別的驗證碼甚至難到讓一個普通人無所適從。

    即便現在推出人票合一的功能了，但無數搶票軟件依然利用加價購買搶票包的方式提供這種服務。

    除此之外，各大航空公司也是非法網絡爬蟲的重災區，尤其是經常放出特價機票的那些航司。幾乎每次特價機票剛一放出就會被這種爬蟲嗅探，然后直接預定但不付款。

    對于航司來說，一般這種特價票預定之后會有半小時的時間給買家付款，半小時內不付款就會再次進入票池，但爬蟲技術卻能在這些特價票進入到票池后0.01秒之內再次搶到手，直到黃牛黨找到愿意加價的買家，用買家身份信息購票并付款。

    可以想象不管是12306還是各大航司，都恨透了這種爬蟲。

    畢竟黃牛的加價他們一分錢都賺不到，還增加了網絡負載。

    尤其是各大航司，本來是要讓利給客戶，增加客戶粘性的，結果客戶沒享受到低價票，還會可能因為付了高價，沒享受相對應的服務而惱火。

    除了這種網絡爬蟲之外，還有一些更為惡意的網絡爬蟲，它們默默的潛伏在網絡中不斷爬取著各種私人的用戶身份信息，各大連鎖酒店、各種APP的用戶系統等等，都是這些網絡爬蟲的目標。

    可惜的是目前針對這些惡意網絡爬蟲并沒有太好防御性技術手段，一般都是依靠各種硬軟件防火墻技術來進行隔絕。

    更讓無數開發者為難的是，安全跟便捷性往往無法兼得。

    這就好像12306曾經出臺的那些讓人崩潰的驗證碼，短暫制止了爬蟲肆虐的同時，也讓無數普通人暈頭轉向。
    第(2/3)頁