PHPCrawl

Dapat digunakan dalam menulis crawler pencarian (laba-laba) bahwa tambang halaman Web untuk berbagai informasi.
PHPCrawl memperoleh informasi itu dikonfigurasi untuk mengambil dan lolos ke aplikasi yang lebih kuat untuk diproses lebih lanjut

Fitur :.

• Filter untuk URL dan Content-Type Data
• Tentukan cara untuk menangani cookie
• Tentukan cara untuk menangani file robots.txt
• Batasi aktivitas dalam berbagai cara

Mode
• Multi-processing

Apa yang baru dalam rilis ini:

• Fixed bug:
• Link yang sebagian urlencoded dan sebagian tidak bisa membangun kembali / dikodekan dengan benar sekarang.
• Dihapus var_dump men-debug yang tidak perlu () dari PHPCrawlerRobotsTxtParser.class.php
• Server-nama-indikasi di TLS / SSL bekerja dengan benar sekarang.
• & quot; dasar-href & quot;. -tags Di website bisa ditafsirkan dengan benar sekarang lagi

Apa yang baru dalam versi beta 0,80:

• Kode benar-benar refactored, porting ke PHP5-OO- kode dan banyak kode ditulis ulang.
• Ditambahkan kemampuan untuk menggunakan menggunakan beberapa proses untuk laba-laba website. Metode & quot; goMultiProcessed () & quot; menambahkan.
• New metode overridable & quot; initChildProcess () & quot; ditambahkan untuk memulai proses-anak saat menggunakan crawler dalam multi-proses-mode.
• Implementet alternatif, SQLite internal yang caching-mekanisme URL sehingga memungkinkan untuk spider website yang sangat besar.
• Metode & quot; setUrlCacheType () & quot; menambahkan.
• Metode Baru setWorkingDirectory () ditambahkan untuk menentukan lokasi crawler-direktori kerja sementara secara manual. Maka metode & quot; setTmpFile () & quot; ditandai sebagai usang (tidak memiliki fungsi lagi).
• Metode Baru & quot; addContentTypeReceiveRule () & quot; menggantikan tua metode & quot; addReceiveContentType () & quot;.
• Fungsi & quot; addReceiveContentType () & quot; masih hadir, tetapi ditandai sebagai usang.

Persyaratan :

• PHP 5 atau lebih tinggi
• PHP dengan dukungan OpenSSL