Jug

Jug adalah implementasi Python kerangka MapReduce (sekarang menjadi bagian standar dari Hadoop ), yang memungkinkan pengembang untuk menulis kode yang dapat dijalankan dalam berbagai bentuk paralelisasi.
Ini berarti kode yang dapat dijalankan secara paralel pada mesin yang sama, atau di cluster komputasi (beberapa mesin).
Jug memungkinkan pengembang untuk mengatur kode menjadi potongan-potongan kecil, dan memilih mana, bagaimana dan kapan untuk menjalankannya.
Meskipun hal ini mungkin di atas untuk website kecil dan aplikasi, perilaku ini dapat sangat berguna dalam aplikasi dengan beban lalu lintas tinggi atau yang menangani data dalam jumlah besar.
Jug dapat bekerja dan menyimpan data secara lokal melalui hard-drive, atau dapat menggunakan penyimpanan jauh. Untuk kasus kemudian, Redis database didukung

Fitur :.

• Persistent penyimpanan data Dukungan
• menggunakan kembali hasil parsial
• dukungan Concurrency
• penyimpanan data lokal
• jauh penyimpanan data
• Status Operasi checker

Apa yang baru dalam rilis ini:

• perbaikan Python 3 kompatibilitas
• fsync (direktori) dalam file backend
• kait Jug (masih banyak didokumentasikan, tapi sudah memungkinkan kode penyederhanaan internal)

Apa yang baru dalam versi 0.9.7:

• menggunakan Fix subclass numpy
• Fix Redis URL parsing
• Fix `` shell`` untuk versi yang lebih baru dari IPython
• Benar jatuh kembali non-sqlite `` status``

Apa yang baru dalam versi 0.9.6:

• decoding lebih cepat
• Ditambahkan kendi-menjalankan script
• Ditambahkan menjelaskan () function
• Ditambahkan write_task_out () function

Apa yang baru dalam versi 0.9.1:

• Ditambahkan `` webstatus`` subcommand
• Ditambahkan bvalue () function
• Fixed bug di `` subcommand shell`` (`` value`` tidak dalam namespace global)
• Peningkatan identitas ()
• Fixed bug dalam menggunakan Tasklets dan --aggressive-membongkar
• Fixed bug dengan Tasklets dan tidur-sampai / cek

Apa yang baru dalam versi 0.9:

• Dengan adanya penghalang (), jalankan kembali jugfile yang . Hal ini membuat penghalang lebih mudah untuk digunakan.
• Ditambahkan set_jugdir untuk API publik.
• Ditambahkan CompoundTaskGenerator
.
• Dukungan subclassing Tugas
.
• Hindari membuat direktori dalam file backend kecuali jika diperlukan.
• Tambahkan jug.mapreduce.reduce (yang mimicks builtin mengurangi).

Apa yang baru dalam versi 0.8.1:

• Fix Redis backend untuk versi baru dari modul klien
• toko berkas lebih cepat untuk file besar
• Fix `invalidate` dengan Tasklets
• Instal tes dan memiliki mereka menjadi runnable
• Berubah hash metode perhitungan. Ini memiliki kasus khusus pada array numpy
• (untuk kecepatan) dan lebih extensible melalui hook __jug_hash__
• bug Perbaiki dengan Tasklet dependensi tidak benar diperhitungkan
• subcommand Fix shell dalam versi yang lebih baru dari ipython
• Tambahkan atribut __FILE__ ke jugmodule palsu

Apa yang baru dalam versi 0.8:

• Tasklets
• Perbaiki bug dalam tidur-sampai dan pembersihan
• Perbaiki bug dengan CompoundTask (Anda perlu menjalankan kendi mengeksekusi dua kali sebelum).

Apa yang baru dalam versi 0.8-B0:

• Tasklets - Perbaiki bug dalam tidur-sampai dan pembersihan
.

Apa yang baru dalam versi 0.7.4:

• kasus Fix mana ~ / .jug / configrc tidak tidak ada.
• Cetak nama host untuk mengunci file di file_store.
• Refactored penerapan opsi.
• Fix bongkar tugas yang belum dijalankan.
• Fix mapreduce untuk input kosong.

Apa yang baru dalam versi 0.7.3:.

• Parse ~ / .jug / configrc
• bug Perbaiki dengan waktu tunggu.
• kasus khusus menyimpan array numpy.
• Tambah sintaks jugdir lebih ekspresif.
• Simpan backend dict_store ke disk.

Apa yang baru dalam versi 0.7.2:.

• Termasuk file yang hilang dalam distribusi

Apa yang baru dalam versi 0.7.1:.

• tidur-sampai subcommand
• Fix untuk penghalang () dan interaksi mapreduce.
• perbaikan Dokumentasi.

Apa yang baru dalam versi 0.7:

• Lebih baik `` perintah shell``
• Metode Menulis ulang untuk memuat jugfiles
• Tugas memiliki fungsi asli diakses sebagai `f`

Apa yang baru dalam versi 0.6.9:.

• perintah cek Baru
• load_all () di dalam shell.

Apa yang baru dalam versi 0.5.2:.

• New `perintah shell`
• Kompresi di Redis backend
.
• Perbaikan kecepatan untuk 'membatalkan' perintah.

Apa yang baru dalam versi 0.5.1:

• Redis backend
• dependensi Kamus
• Berubah antarmuka baris perintah (command kendi jugfile ...)

Persyaratan :

• Python 2.6 atau lebih tinggi