Spidr 0.4.1 該腳本可以在一個頁面，網站，多個域甚至不停上運行。SPIDR的設計是快速和易於使用 功能： 從以前的會話恢復抓取隊列和歷史。在自定義用戶代理字符串。在自定義代理服務器設置。 HTTPS支持。如下：標記一個 iframe標記。幀標籤。在Cookie的保護環節。在HTTP 300，301，302，303和307重定向。在元刷新重定向。在HTTP基本認證保護的鏈接。根據黑名單或白名單網址： URL方案。主機名端口號全部鏈接... 12 May 15 在 開發工具腳本, 搜索引擎和鏈接索引腳本 Web 閱讀更多
