該腳本可以在一個頁面,網站,多個域甚至不停上運行。
SPIDR的設計是快速和易於使用
功能:
- 從以前的會話恢復抓取隊列和歷史。
- 在自定義用戶代理字符串。
- 在自定義代理服務器設置。
- HTTPS支持。
- 標記一個
- iframe標記。
- 幀標籤。
- 在Cookie的保護環節。
- 在HTTP 300,301,302,303和307重定向。
- 在元刷新重定向。
- 在HTTP基本認證保護的鏈接。
- URL方案。
- 主機名
- 端口號
- 全部鏈接
- URL擴展
- 在訪問的每一個頁面。
- 在每一個訪問過的URL。
- 在一個特定的模式相匹配的所有訪問過的URL。
- 在每個出發地和目的地的鏈接的URI。
- 在失敗每個URL來訪問。
- 暫停蜘蛛。
- 在跳轉頁面處理。
- 跳轉鏈接處理。
<李班=“bbli”>如下:
根據<李班=“bbli”>黑名單或白名單網址:
<李班=“bbli”>提供回調為:
<李班=“bbli”>提供操作方法:
什麼在此版本中是新的:
- 在抓住OpenSSL的SSL :: :: SSLError異常時啟動HTTPS會話。
評論沒有發現