Spidr

軟件截圖:
Spidr
軟件詳細信息:
版本: 0.4.1
上傳日期: 12 May 15
開發: postmodern
許可: 免費
人氣: 174

Rating: 2.5/5 (Total Votes: 2)

該腳本可以在一個頁面,網站,多個域甚至不停上運行。
SPIDR的設計是快速和易於使用

功能

  • 從以前的會話恢復抓取隊列和歷史。
  • 在自定義用戶代理字符串。
  • 在自定義代理服務器設置。
  • HTTPS支持。

  • <李班=“bbli”>如下:
  • 標記一個
  • iframe標記。
  • 幀標籤。
  • 在Cookie的保護環節。
  • 在HTTP 300,301,302,303和307重定向。
  • 在元刷新重定向。
  • 在HTTP基本認證保護的鏈接。

  • 根據<李班=“bbli”>黑名單或白名單網址:
  • URL方案。
  • 主機名
  • 端口號
  • 全部鏈接
  • URL擴展

  • <李班=“bbli”>提供回調為:
  • 在訪問的每一個頁面。
  • 在每一個訪問過的URL。
  • 在一個特定的模式相匹配的所有訪問過的URL。
  • 在每個出發地和目的地的鏈接的URI。
  • 在失敗每個URL來訪問。

  • <李班=“bbli”>提供操作方法:
  • 暫停蜘蛛。
  • 在跳轉頁面處理。
  • 跳轉鏈接處理。

什麼在此版本中是新的

  • 在抓住OpenSSL的SSL :: :: SSLError異常時啟動HTTPS會話。

類似的軟件

PourOver
PourOver

13 May 15

mysolr
mysolr

13 Apr 15

Bobo
Bobo

13 May 15

Elastica
Elastica

6 Mar 16

意見 Spidr

評論沒有發現
添加評論
打開圖片!