sCrawler

有就是為何一個人或公司將要使用的網絡爬蟲軟件，數之不盡。這種類型的程序瀏覽網絡中可以實現自動化，系統化和有序的方式指定的方式。如果你是新來的名詞網絡爬蟲軟件，也許你聽說過蜘蛛，機器人，螞蟻，自動索引，機器人或scutters？他們都基本上是同樣的事情！
網絡爬蟲軟件的目的

當你想到的網頁抓取軟件，你可能想像像谷歌，必應和雅虎的大牌搜索引擎。他們的機器人抓取通過網頁來確定的內容，相關性和索引。通過創建訪問過的網頁的副本，它們可以提供更快速，更精確的搜索。 SqrBox會告訴你，你肯定不會需要一個搜索引擎都需要網絡爬蟲軟件。你只需要有人誰的需要收集大量的或極複雜的信息。
網絡爬蟲軟件類型

如果你打算使用專業公司的服務，如SqrBox，你並不真的需要與有關網絡爬蟲軟件的所有複雜的行話關注。不過，這是有必要了解關於它的一些東西。

聚焦爬行 - 這種類型的網絡爬蟲軟件的目的是要下載該看起來包含類似的信息的頁面。經常有這種方法，雖然和履帶式和結果的實際性能相關的一些瑕疵都依賴於這種鏈接是如何富人上被搜索的特定主題。這種類型的網絡爬蟲軟件經常被用來作為起始點來縮小搜索進一步爬行。

網址規範化 - 網絡爬行器軟件將常常執行URL規範化的一定水平，這有助於減少在同一源不止一次的重複爬行。

限制其次鏈接 - 在某些情況下，網絡爬蟲軟件可能希望避免某些網頁內容，只尋求的.html頁面。要做到這一點，URL往往審核，再資源才會被要求如果有某些字符的URL，例如的.html，.asp的，名為.htm，.PHP，的.aspx，.jspx或.JSP。網絡爬蟲軟件通常會忽略的資源用“？”為了避免蜘蛛陷阱

要求：

.NET Framework 3.5的