robots.js 0.9.4

Dapat digunakan untuk menarik data dari file robots.txt dan pakan untuk aplikasi lain atau alat statistik.Akan mengekstrak URL target, alasan untuk akses dan status Data Apa yang baru dalam rilis ini:. Menangani http (s ) kesalahan permintaan . ...
Baru dilihat lunak