Hadoopy

Ini pada dasarnya adalah sebuah perpustakaan Python untuk MapReduce ditulis dalam Cython

Fitur :.

• antarmuka serupa sebagai Hadoop API (pola desain yang dapat digunakan antara Python / Jawa interface)
• kompatibilitas Umum dengan dumbo untuk memungkinkan pengguna untuk beralih
• Dapat digunakan pada cluster Hadoop tanpa Python atau akses admin
• konversi Cepat dan pengolahan
• Tetap kecil dan didokumentasikan dengan baik
• Jadilah transparan dengan apa yang terjadi
• program Handle dengan .so rumit ini, ctypes, dan ekstensi
• Kode ditulis untuk hack-kemampuan
• Simple akses HDFS (misalnya, membaca, menulis, ls)
• Dukungan (dan tidak meniru) ekosistem Hadoop lebih besar (misalnya, Oozie, deru)
• otomatis pekerjaan paralelisasi 'auto-oozie' tersedia dalam proyek aliran hadoopy (dipertahankan dari cabang)
• pelaksanaan lokal dari pekerjaan MapReduce dimodifikasi dengan launch_local
• Baca / tulis file urutan TypedBytes langsung ke HDFS dari python (readtb, writetb)
• Memungkinkan pencetakan ke stdout dan stderr dalam tugas-tugas Hadoop tanpa menyebabkan masalah (menggunakan 'pipa melompat' teknik, keduanya tersedia dalam stderr tugas ini)
• Bekerja pada kelompok tanpa instalasi tambahan, Python, atau perpustakaan Python (menggunakan PyInstaller yang termasuk dalam sumber pohon ini)
• Bekerja pada OS X
• jalan Kritis di Cython
• Simple akses HDFS (readtb dan ls) dalam Python, bahkan di dalam menjalankan pekerjaan
• antarmuka Unit uji
• Pelaporan menggunakan status dan counter (dan mencetak laporan! Tidak perlu takut dari mereka di Hadoopy)
• Mendukung pola desain dalam buku Lin & Dyer
• dukungan Typedbytes (sangat cepat)
• dukungan Oozie

Persyaratan :

• Cython 0,13 atau lebih tinggi