Scrapy

Scrapy 1.0.3 更新

廢材是用Python編寫的100%,可用於簡單的數據挖掘,以網頁監控,網絡搜索引擎,甚至進行代碼測試。Scrapy不在字的真諦一個搜索引擎,但是它的作用就像一(不帶索引的一部分)。不過Scrapy可以是一個偉大的工具來建立你的搜索引擎的邏輯上。這個框架的真正威力取決於在其核心的多功能性,Scrapy是在其上建立在通用或專用的搜索蜘蛛(抓取工具)的系統。雖然這聽起來非常複雜的非技術用戶,快速查看過的文件和可用的教程,這是很簡單的,看看如何Scrapy設法採取了所有的辛勤工作了這一點,並降低整個過程只幾行代碼(...

Scrapy

Scrapy 0.18.0

Scrapy是一個高層次的網絡抓取和刮框架編寫蜘蛛抓取和分析網頁的各種用途,從信息檢索監測或測試網站。 特點: 簡單:在Scrapy設計與頭腦簡單,提供你需要的功能沒有得到你的方式生產:在剛寫的規則提取網頁中的數據,讓Scrapy抓取你整個網站快:在Scrapy用於生產履帶徹底刮除每天500多個零售商的網站,都在同一個服務器擴展:在Scrapy設計具有可擴展性,所以它提供了幾種機制,堵塞新的代碼,而無需觸摸框架的核心便攜:在Scrapy運行在Linux,Windows,Mac和BSD...

閱讀更多