reppy 0.1.0

reppy起家的缺乏遇到其他的robots.txt分析器記憶化的支持,並在內置robotparser缺乏支持抓取延遲和地圖。匹配該軟件包支持1996年的RFC,以及其他常用實現的功能,如通配符匹配,抓取延遲和站點地圖。有不同的方法來匹配允許和禁止。一種方法是使用最長匹配。另一種是使用最具體。這個包選擇遵循指令,該指令是最長,假設是它的一個是最具體的 -...