robots.js

robots.js 0.9.4

可用於從robots.txt文件拉出數據並將其饋送到其他應用程序或統計工具。將提取目標URL,原因訪問和狀態數據 什麼在此版本中是新的: 在處理HTTP(S )請求錯誤。 什麼是0.7.2版本,新的: 在固定的package.json元信息的錯誤 要求: ...

閱讀更多