Apache Spark

Spark dirancang untuk meningkatkan kecepatan pemrosesan untuk analisis data dan program manipulasi.
Ini ditulis di Jawa dan Scala dan menyediakan fitur yang tidak ditemukan dalam sistem lainnya, terutama karena mereka tidak mainstream atau yang berguna untuk aplikasi pengolahan non-data.

Apa yang baru dalam rilis ini:.

• Inti API sekarang mendukung pohon multi-level agregasi untuk membantu mempercepat mahal mengurangi operasi
• Peningkatan pelaporan kesalahan telah ditambahkan untuk operasi Gotcha tertentu.

Jetty ketergantungan
• Spark ini sekarang teduh untuk membantu menghindari konflik dengan program pengguna.
• Spark sekarang mendukung enkripsi SSL untuk beberapa titik akhir komunikasi.
• metrik Realtime GC dan jumlah record telah ditambahkan ke UI.

Apa yang baru di versi 1.3.0:

• Inti API sekarang mendukung multi-level pohon agregasi untuk membantu mempercepat mahal mengurangi operasi.
• Peningkatan pelaporan kesalahan telah ditambahkan untuk operasi Gotcha tertentu.

Jetty ketergantungan
• Spark ini sekarang teduh untuk membantu menghindari konflik dengan program pengguna.
• Spark sekarang mendukung enkripsi SSL untuk beberapa titik akhir komunikasi.
• metrik Realtime GC dan jumlah record telah ditambahkan ke UI.

Apa yang baru di versi 1.2.1:

• semacam Operator PySpark sekarang mendukung pertumpahan eksternal untuk dataset besar
.
• PySpark sekarang mendukung variabel siaran yang lebih besar dari 2GB dan melakukan pertumpahan eksternal selama macam.
• Spark menambahkan halaman pekerjaan tingkat kemajuan dalam Spark UI, API stabil untuk pelaporan kemajuan, dan memperbarui dinamis metrik output pekerjaan selesai.
• Spark sekarang memiliki dukungan untuk membaca file biner untuk gambar dan format biner lainnya.

Apa yang baru di versi 1.0.0:

• Rilis ini memperluas perpustakaan standar Spark ini, memperkenalkan baru pengguna paket SQL (SQL Spark) yang memungkinkan mengintegrasikan query SQL ke dalam alur kerja Spark yang ada.
• MLlib, perpustakaan pembelajaran mesin Spark ini, diperluas dengan dukungan vektor jarang dan beberapa algoritma baru.

Apa yang baru di versi 0.9.1:

• Fixed hash tabrakan bug di pertumpahan eksternal
• konflik tetap dengan log4j Spark untuk pengguna mengandalkan backends logging lainnya
• Tetap Graphx hilang dari Spark perakitan jar di maven membangun
• Tetap kegagalan diam karena memetakan Status keluaran melebihi ukuran frame Akka
• ketergantungan langsung tidak perlu Dihapus Spark di ASM
• Dihapus metrik-ganglia dari default membangun karena konflik lisensi LGPL
• Fixed bug dalam distribusi tarball tidak mengandung percikan perakitan jar

Apa yang baru di versi 0.8.0:

• Pembangunan telah pindah ke Apache Sowftware Yayasan sebagai proyek inkubator.

Apa yang baru di versi 0.7.3:

• Python kinerja: Mekanisme Spark untuk pemijahan Python VMS memiliki telah diperbaiki untuk melakukannya lebih cepat ketika JVM memiliki ukuran tumpukan besar, mempercepat Python API.
• Mesos perbaikan: guci ditambahkan ke pekerjaan Anda sekarang akan di classpath ketika deserializing hasil tugas di Mesos
.
• Kesalahan pelaporan:. Pelaporan kesalahan baik untuk pengecualian non-serializable dan hasil tugas terlalu besar
• Contoh:. Ditambahkan contoh pengolahan aliran stateful dengan updateStateByKey
• Build:. Spark Streaming tidak lagi tergantung pada repo Twitter4J, yang seharusnya memungkinkan untuk membangun di Cina
• Perbaikan bug di foldByKey, streaming count, metode statistik, dokumentasi, dan web UI.

Apa yang baru di versi 0.7.2:.

• versi Scala diperbarui untuk 2.9.3
• Beberapa perbaikan Bagel, termasuk perbaikan kinerja dan tingkat penyimpanan dikonfigurasi.
• metode API baru:. SubtractByKey, foldByKey, mapWith, filterWith, foreachPartition, dan lain-lain
• Sebuah metrik baru antarmuka pelaporan, SparkListener, untuk mengumpulkan informasi tentang setiap tahap perhitungan. Panjang tugas, byte dikocok, dll
• Beberapa contoh baru menggunakan API Java, termasuk K-sarana dan komputasi pi.

Apa yang baru di versi 0.7.0:

• Spark 0.7 menambahkan API Python disebut PySpark <. / li>
• pekerjaan Spark sekarang meluncurkan dashboard web untuk memantau penggunaan memori setiap dataset didistribusikan (RDD) dalam program.
• Spark sekarang dapat dibangun menggunakan Maven selain SBT.

Apa yang baru di versi 0.6.1:

• Tetap pesan terlalu agresif timeout yang dapat menyebabkan pekerja untuk memutuskan sambungan dari cluster.
• Fixed bug dalam modus menyebarkan mandiri yang tidak mengekspos nama host ke scheduler, mempengaruhi HDFS wilayah.
• Peningkatan penggunaan kembali koneksi di shuffle, yang dapat sangat mempercepat mengocok kecil.
• Tetap beberapa kebuntuan potensial di manajer blok.
• Fixed bug mendapatkan ID dari host gagal dari Mesos.
• Beberapa perbaikan naskah EC2, seperti penanganan yang lebih baik dari kasus spot.
• Membuat alamat IP lokal Spark yang mengikat disesuaikan.
• Dukungan untuk Hadoop 2 distribusi.
• Dukungan untuk mencari Scala pada distribusi Debian.

Apa yang baru di versi 0.6.0:.

• penyebaran Sederhana
• dokumentasi Spark telah diperluas dengan panduan baru cepat start, petunjuk penyebaran tambahan, panduan konfigurasi, panduan tuning, dan peningkatan dokumentasi Scaladoc API.
• Seorang manajer komunikasi baru menggunakan asynchronous Java NIO memungkinkan operasi mengocok berjalan lebih cepat, terutama ketika mengirimkan data dalam jumlah besar atau ketika pekerjaan memiliki banyak tugas.
• Seorang manajer penyimpanan baru mendukung per-dataset pengaturan tingkat penyimpanan (misalnya apakah untuk menjaga dataset dalam memori, deserialized, pada disk, dll, atau bahkan direplikasi di node).
• Peningkatan debugging.