Dapper Dataflow Engine

Dapper (Distributed dan Pelaksanaan Program Paralel Runtime) adalah alat untuk menjinakkan kompleksitas berkembang untuk awan skala besar dan komputasi grid, memungkinkan pengguna untuk membuat perhitungan didistribusikan dari penting - kode yang akan EXECUT
Mengapa Dapper?
Kita hidup di zaman yang menarik, di mana terobosan dalam ilmu semakin tergantung pada ketersediaan tumbuh dan kelimpahan commoditized, sumber daya komputasi jaringan. Dengan bantuan dari awan atau grid, perhitungan yang lain akan berjalan selama hari pada mesin desktop tunggal kini telah didistribusikan dan / atau formulasi paralel yang dapat churn melalui, dalam hitungan jam, masukan menetapkan sepuluh kali lebih besar dari seratus mesin . Sebagai memikat sebagai gagasan kekuatan dalam jumlah mungkin, karena baru saja hardware fisik tidak cukup - programmer harus kerajinan perhitungan sebenarnya yang akan berjalan di atasnya. Akibatnya, nilai tinggi ditempatkan pada usaha manusia dan kreativitas memerlukan lingkungan pemrograman yang memungkinkan, dan bahkan mendorong, ekspresi singkat dari perhitungan didistribusikan, namun pada saat yang sama tidak mengorbankan umum.
Dapper, berdiri untuk Terdistribusi dan Paralel Program Eksekusi Runtime, adalah salah satu alat untuk menjembatani spesifikasi tingkat tinggi ilmuwan / programmer yang menangkap esensi dari sebuah program, dengan mekanisme tingkat rendah yang mencerminkan realitas buruk dari komputasi terdistribusi dan paralel. Dalam pendekatan dataflow yang berorientasi, Dapper memungkinkan pengguna untuk kode lokal di Jawa dan melaksanakan secara global di atas awan atau grid. Pengguna pertama menulis codelets, atau potongan kecil kode yang melakukan tugas-tugas sederhana dan tidak, dalam diri mereka, merupakan program yang lengkap. Setelah itu, ia menentukan bagaimana mereka codelets, dilihat sebagai simpul dalam dataflow itu, mengirimkan data satu sama lain melalui hubungan tepi. Yang dihasilkan diarahkan dataflow asiklik graph adalah program lengkap ditafsirkan oleh server Dapper, yang, setelah dihubungi oleh klien pekerja berumur panjang, dapat mengkoordinasikan pelaksanaan didistribusikan.
Berdasarkan model Dapper, pengguna tidak lagi perlu khawatir tentang tradisional aspek ad-hoc mengelola awan atau grid, yang meliputi penanganan interkoneksi data dan dependensi, pulih dari kesalahan, mendistribusikan kode, dan mulai pekerjaan. Mungkin yang lebih penting, itu memberikan berbasis Java seluruh toolchain dan runtime untuk membingkai hampir semua perhitungan kasar-grained didistribusikan dalam format yang konsisten yang memungkinkan untuk penyebaran cepat dan angkut mudah untuk peneliti lain.

Fitur :

• Sebuah sistem distribusi kode yang memungkinkan server Dapper untuk mengirimkan kode program yang diperlukan melalui jaringan dan memiliki klien secara dinamis beban. Konsekuensi dari ini adalah bahwa, pembatasan executable eksternal, update Dapper program hanya perlu terjadi pada sisi server.
• Sebuah metode embedding Subflow kuat untuk secara dinamis memodifikasi grafik dataflow saat runtime.
• A runtime di vanili Jawa, bahasa yang banyak tidak diragukan lagi akrab dengan. Selain persyaratan JVM baru dan opsional Graphviz Dot, Dapper mandiri.
• Sebuah protokol kontrol yang kuat. Server Dapper mengharapkan sejumlah klien gagal, setiap saat, dan memiliki re-pelaksanaan dan batas waktu kebijakan disesuaikan untuk mengatasi. Akibatnya, seseorang dapat memulai dan menghentikan (berumur panjang) klien tanpa takut menempatkan seluruh sistem ke dalam keadaan tidak konsisten.
• semantik Fleksibel yang memungkinkan transfer data melalui file atau TCP stream.
• Interoperabilitas dengan firewall. Sejak awan lokal atau jaringan mungkin duduk di belakang firewall, kami telah menyusun semantik khusus untuk streaming transfer data.
• persyaratan lisensi Liberal. Dapper dirilis di bawah LGPL untuk mencegah kontaminasi dari basis kode Anda.
• Operasi sebagai aplikasi embedded. A manual menjelaskan API pemrograman yang pengguna dapat mengikuti untuk menjalankan server Dapper dalam aplikasi seperti Apache Tomcat.
• Operation sebagai user interface mandiri. Dengan itu, seseorang dapat menjalankan off-the-rak demo dan belajar konsep inti dari contoh-contoh visual. Dengan mengikuti satu set minimal konvensi, satu maka dapat bundel program Dapper sendiri sebagai pelaksanaan arsip, dan kemudian mendapatkan status yang dataflow realtime dan umpan balik debugging.

Apa yang baru dalam rilis ini:

• Metode ServerLogic # closeIdleClients telah diubah untuk lebih cocok dengan Gagasan intuitif pengguna kemalasan.
• Sebuah pilihan pengguna untuk menentukan nama host server telah ditambahkan.
• Jaringan internal telah dikerjakan ulang untuk menggunakan API baru.
• Proses membangun telah diperbarui untuk mendukung kedua 32 dan 64-bit Windows lintas kompilasi.
• necis The. * Hirarki telah diubah namanya menjadi org.dapper. *.

Apa yang baru di versi 0.96:

• Ditambahkan abstraksi FlowListener, sehingga pengguna dapat metadata sekarang associate dengan dataflows dan node mereka.
• Fixed kebocoran memori di server Dapper.
• Ditambahkan apiviz Doclet tag sehingga hubungan antara kelas dapat lebih baik divisualisasikan.
• apiviz Ditambahkan untuk visualisasi dependensi di Javadoc.
• Fixed bug kecil di BuildAndTest executable
.
• Proses build sekarang sepenuhnya terintegrasi dengan Apache Ivy. Distribusi sumber kapal sekarang lagi dengan SST. Sebaliknya, dependensi secara otomatis di-download; gagal itu, seseorang dapat men-download sumber SST, kompilasi, dan mempublikasikan ke repositori lokal. Lihat panduan pengguna untuk lebih jelasnya.
• Diperbarui membangun proses dan langkah-langkah berlebihan dihapus.
• hak cipta Normalisasi dan lisensi pemberitahuan di semua file
.
• Java 1.6 kini diperlukan untuk membangun dan menjalankan.
• Ubah membangun proses untuk menggunakan Apache Ivy, yang berarti bahwa dependensi eksternal tidak lagi harus dikemas dengan distribusi utama SST.
• Ditambahkan 'doxygen' sasaran untuk membangun proses sehingga komponen asli dapat didokumentasikan.

Apa yang baru di versi 0.95:

• A, infrastruktur penebangan baru yang fleksibel telah ditambahkan
• initializers untuk struktur logging telah dipindahkan keluar dari Server dan Client kelas dan menjadi driver.
• mesin negara Finite telah diperbarui dengan baru penjelasan-driven API
.
• Kode sumber telah dinormalisasi memiliki 8 ruang bukan tab.

Apa yang baru di versi 0.94:

• opsi baris perintah untuk klien dan server yang sekarang tersedia, courtesy perpustakaan Apache Commons CLI.
• Proses klien siklus hidup sekarang didefinisikan sebagai berakhir ketika memutuskan sambungan dari server terjadi.
• Stem fungsi generasi telah pindah dari menjadi metode anggota OutputHandleResource menjadi metode statis CodeletUtilities.
• Kelas FlowNodeFactory digunakan dalam mendukung Instansiasi langsung FlowNodes.
• Gedung komponen asli telah bermigrasi ke CMake.
• Logging telah bermigrasi ke SLF4J.
• Sebuah README telah ditambahkan ke semua distribusi.

Apa yang baru dalam versi 0,93.

• Sangat meningkatkan contoh pedagogis
• Diperbarui manual.
• Ditambahkan rutinitas kemudahan dalam dapper.codelet.CodeletUtilities untuk query sumber daya.
• Generator Dihapus, FileEdge, FileBatchGenerator, FileBatchEdge, FileResource, dan FileBatchResource. Mereka telah diganti dengan konsep menangani data abstrak dalam bentuk HandleEdge, InputHandleResource, OutputHandleResource. Lihat petunjuk untuk perubahan.
• Diperbarui dapper.codelet.Resource untuk mengekspor input dan output stream.

Persyaratan :

• 2 Runtime Environment Standard Edition Jawa