Spidr

Script dapat berjalan pada satu halaman, situs, beberapa domain atau bahkan non-stop.
Spidr dirancang untuk mudah digunakan dan cepat

Fitur :.

• Kembalikan antrian spidering dan sejarah dari sesi sebelumnya
.
• Kustom User-Agent string
.
• Pengaturan Kustom proksi
.
• dukungan HTTPS.


• Adalah:
• tag
.
• tag iframe
.
• tag bingkai
.
• Cookie link dilindungi
.
• HTTP 300, 301, 302, 303 dan 307 Redirects.
• Meta-Refresh Redirect.
• HTTP Basic Auth link dilindungi
.

• Hitam-list atau daftar putih URL berdasarkan:
• skema URL.
• Nama host
• nomor Port
• Link penuh
• ekstensi URL


• Menyediakan panggilan-punggung untuk:
• Setiap mengunjungi Halaman
.
• Setiap URL yang dikunjungi
.
• Setiap URL mengunjungi yang cocok dengan pola yang telah ditentukan
.
• Setiap asal dan tujuan URI link.
• Setiap URL yang gagal untuk dikunjungi.


• Menyediakan metode tindakan untuk:
• Jeda spidering.
• Buka pengolahan halaman.
• Buka pengolahan link.

Apa yang baru dalam rilis ini:

• Menangkap OpenSSL :: SSL :: pengecualian SSLError bila dimulai HTTPS Sesi.