Methabot

Perangkat lunak Methabot adalah kecepatan dioptimalkan, web skrip dan sangat dapat dikonfigurasi, ftp dan sistem file crawler lokal. Mendukung parsing filetype scripted, berbagai macam pilihan kustomisasi dan mudah dikonfigurasi untuk memenuhi kebutuhan khusus siapapun.
Dengan penggunaan sistem modul dan bahasa scripting, pengguna dapat mengambil kontrol penuh atau sebagian dari proses merangkak dan memutuskan Namun Methabot harus menyimpan data web, statistik dan banyak lagi.
Hanya dengan menjalankan Methabot dari baris perintah Anda dapat Jenis berkas konfigurasi kustom, penyaringan ekspresi, perilaku, dan masih banyak lagi, sehingga Anda tidak perlu menjadi penulis skenario a

Fitur :

• Ini cepat, dirancang dari bawah dan dengan kecepatan optimasi dalam pikiran.
• Scriptable melalui Javascript dengan E4X
• User-didefinisikan filetype penyaringan (sesuai dengan jenis MIME, ekstensi file atau ekspresi UMEX)
• Multi-threaded
• Sangat dikonfigurasi dari baris perintah
• sistem modul Extensible, mendukung parser data kustom dan filter.
• Simple penyaringan namun kuat URL melalui UMEX
.
• Automated download
• Dukungan untuk cookie handling otomatis ketika menjalankan melalui HTTP
• Handal, jaringan fault-tolerant
• Portable, diuji dengan sukses di 32-bit / 64-bit Linux 2.6, 32-bit / 64-bit FreeBSD 6.x / 7.0, Windows XP dan Mac OS X. Harus bekerja di hampir semua OS Unix-seperti.

Apa yang baru dalam rilis ini:

• Bugfix, ketika eksternal-mengintip digunakan batas kedalaman itu
kacau.
Perbaikan penggunaan
• Memori pembersihan

Pilihan
• dinamis-url tidak lagi diatur untuk pencarian secara default, karena memperlambat merangkak signifikan
• Membangun sistem sekarang menciptakan dan menginstal beberapa file header yang modul dapat digunakan saat menghubungkan
• alat metha-config menambahkan
• lmm_mysql pindah luar paket ini

Apa yang baru di versi 1.5.0:

• Perubahan dan fitur baru:
• Dukungan untuk membaca penyangga Secara dini dari stdin
• - jenis dan --base-url opsi baris perintah menambahkan, bersama dengan pilihan initial_filetype dalam file konfigurasi
• Cookies dan info DNS kini benar dibagi antara pekerja ketika menjalankan multithreaded
• Ditambahkan beberapa contoh penggunaan perintah untuk --examples
• perbaikan besar untuk komunikasi antar-benang, sekarang lebih cepat dan lebih terorganisir
• Ditambahkan dukungan untuk 'init' berfungsi untuk script. Baca lebih lanjut tentang fungsi init di http://bithack.se/projects/methabot/docs/e4x/init_functions.html
• libmetha tidak membeku ketika melakukan beberapa bersamaan permintaan HTTP KEPALA lagi. Alasan untuk membeku bug di libcurl yang sekarang tetap. Beberapa workarounds telah ditambahkan ke libmetha untuk mencegah membeku dari terjadi ketika menggunakan versi libcurl cacat juga.
• Dukungan untuk versi libcurl tua 7.17.x dan 7.16.x
• Informasi baru tersedia di & quot; ini & quot; objek javascript parser, konten-jenis dan status pengalihan kode. Baca lebih lanjut di http://bithack.se/projects/methabot/docs/e4x/this.html
• - opsi verbose diganti dengan --silent, karena modus verbose sekarang bawaan
• dukungan awal untuk FTP merangkak dan pilihan ftp_dir_url crawler
• Kedalaman membatasi sekarang crawler khusus
• Ditambahkan opsi baris perintah --crawler dan --filetype
• Dukungan untuk memperluas dan utama crawler sudah didefinisikan dan tipe file
• Dukungan untuk copy kata kunci dalam file konfigurasi
• Dukungan untuk dinamis beralih crawler aktif, ini memungkinkan Anda menjelajah website yang berbeda dalam cara yang berbeda dalam satu sesi merangkak. Baca lebih lanjut tentang crawler beralih pada http://bithack.se/projects/methabot/docs/crawler_switching.html
• versi libev upgrade ke 3,51
• termasuk direktif dalam file konfigurasi sekarang memastikan file konfigurasi yang disertakan belum sudah dimuat, untuk mencegah termasuk-loop dan beberapa definisi filetype / crawler.
• Berbagai SpiderMonkey perbaikan pengumpulan sampah, libmetha tidak crash lagi ketika membersihkan setelah sesi multithreaded
• Ditambahkan beberapa informasi tambahan untuk pilihan --info
• Pilihan 'eksternal' kini tetap dan diaktifkan lagi
• option New --spread-pekerja
• New libmetha API fungsi lmetha_global_setopt () memungkinkan mengubah global error / pesan / peringatan reporter
• Ditambahkan pelaksanaan awal dari test suite untuk pengembang
• pelaporan kesalahan baik ketika loading file konfigurasi
• Bugfix ketika server HTTP tidak mengembalikan Content-Type header setelah permintaan HEAD
• Bugfix ketika menyortir URL setelah permintaan beberapa HTTP KEPALA
• Bugfix dalam html untuk xml converter ketika halaman HTML tidak memiliki & lt; html & gt; tag
• Bugfix, opsi extless-url tidak bekerja
• Bugfix, html ke xml converter tidak lagi tersedak tanda byte-order atau teks lainnya sebelum HTML sebenarnya
• Bugfix, dicegah libmetha dari mencoba untuk mengakses URL protokol yang tidak didukung
• Bugfix ketika menutup setelah kesalahan.
• Bugfix, URL terselesaikan tidak keluar loop coba lagi setelah tiga retries
• Sangat eksperimental dan dukungan stabil untuk Win32, terutama ditujukan untuk pengembang
• file konfigurasi baru:
• google.conf, untuk melakukan pencarian google
• youtube.conf, youtube mencari
• meta.conf, cetakan informasi meta seperti kata kunci dan deskripsi tentang halaman HTML
• title.conf, mencetak judul halaman HTML
• ftp.conf, untuk merangkak server FTP

Apa yang baru di versi 1.4.1:

• Configure tidak bisa menemukan jsapi.h pada beberapa sistem , ini harus diperbaiki sekarang.
• file konfigurasi sekarang dapat memodifikasi crawler dan filetype bendera, menambahkan opsi 'eksternal' dan 'external_peek'
• Bugfix, Methabot akan kadang-kadang crash ketika membersihkan URL kosong setelah beberapa HTTP KEPALA
• Fixed kecelakaan yang terjadi saat menjalankan serempak.
• Membangun sistem termasuk memperbaiki ketika jsconfig.h tidak dapat ditemukan.

Persyaratan :

• header SpiderMonkey
• Curl