robots.js 0.9.4

可用於從robots.txt文件拉出數據並將其饋送到其他應用程序或統計工具。將提取目標URL，原因訪問和狀態數據 什麼在此版本中是新的： 在處理HTTP（S ）請求錯誤。 什麼是0.7.2版本，新的： 在固定的package.json元信息的錯誤 要求： ...