Apache Hadoop

Apache Hadoop awalnya dikembangkan oleh Yahoo dan proyek merupakan kombinasi antara Apache Hadoop Core dan Apache Hadoop repo umum sebelumnya.

Proyek Hadoop telah memperoleh banyak ketenaran berkat hasil yang bagus dalam menerapkan multi-server didistribusikan sistem komputasi untuk menangani data dalam jumlah besar.

Proyek itu sendiri sebenarnya terbuat dari empat bagian. Salah satunya adalah Hadoop umum, yang disebut inti yang memungkinkan semua modul lain untuk bekerja, yang kedua adalah filesystem sendiri - HDFS (Hadoop Distributed File System), yang ketiga adalah Hadoop penjadwalan BENANG kerangka, dan akhirnya ada sistem Hadoop MapReduce untuk mendukung komputasi paralel.

Menggunakan sistem melanggar tanah ini, Apache telah berhasil menciptakan banyak proyek sisi lain, seperti:

- Apache Ambari

- Apache Avro

- Apache Cassandra

- Apache HBase

- Apache Hive

- Apache Mahout

- Apache Pig

- Apache Spark

- Apache Tez

- Apache Zookeeper

Semua ini mengandalkan mesin pengolahan data yang kuat Hadoop atau fitur komputasi yang terdistribusi, mengintegrasikan salah satu modul dalam satu inti mereka cara atau yang lain.

Apa yang baru di rilis ini:

• Dukungan untuk Kearsipan Storage
• Data Transparan di enkripsi istirahat (beta)
• Operasi DataNode aman tanpa memerlukan akses root
• Hot Swap drive: dukungan menambah / menghapus volume data simpul tanpa restart Data simpul (beta)
• dukungan AES untuk enkripsi kawat lebih cepat
• Dukungan untuk layanan berjalan lama di BENANG
• label Dukungan simpul selama penjadwalan
• Dukungan untuk pemesanan sumber daya berbasis waktu di Kapasitas Scheduler (beta)
• Global, bersama cache untuk artefak aplikasi (beta)
• Dukungan menjalankan aplikasi native di Docker kontainer (alpha)

Apa yang baru di versi 2.7.1:

• Dukungan untuk Kearsipan Storage
• Data Transparan di enkripsi istirahat (beta)
• Operasi DataNode aman tanpa memerlukan akses root
• Hot Swap drive: dukungan menambah / menghapus volume data simpul tanpa restart Data simpul (beta)
• dukungan AES untuk enkripsi kawat lebih cepat
• Dukungan untuk layanan berjalan lama di BENANG
• label Dukungan simpul selama penjadwalan
• Dukungan untuk pemesanan sumber daya berbasis waktu di Kapasitas Scheduler (beta)
• Global, bersama cache untuk artefak aplikasi (beta)
• Dukungan menjalankan aplikasi native di Docker kontainer (alpha)

Apa yang baru di versi 2.7.0:

• Dukungan untuk Kearsipan Storage
• Data Transparan di enkripsi istirahat (beta)
• Operasi DataNode aman tanpa memerlukan akses root
• Hot Swap drive: dukungan menambah / menghapus volume data simpul tanpa restart Data simpul (beta)
• dukungan AES untuk enkripsi kawat lebih cepat
• Dukungan untuk layanan berjalan lama di BENANG
• label Dukungan simpul selama penjadwalan
• Dukungan untuk pemesanan sumber daya berbasis waktu di Kapasitas Scheduler (beta)
• Global, bersama cache untuk artefak aplikasi (beta)
• Dukungan menjalankan aplikasi native di Docker kontainer (alpha)

Apa yang baru di versi 2.6.0:

• Dukungan untuk Kearsipan Storage
• Data Transparan di enkripsi istirahat (beta)
• Operasi DataNode aman tanpa memerlukan akses root
• Hot Swap drive: dukungan menambah / menghapus volume data simpul tanpa restart Data simpul (beta)
• dukungan AES untuk enkripsi kawat lebih cepat
• Dukungan untuk layanan berjalan lama di BENANG
• label Dukungan simpul selama penjadwalan
• Dukungan untuk pemesanan sumber daya berbasis waktu di Kapasitas Scheduler (beta)
• Global, bersama cache untuk artefak aplikasi (beta)
• Dukungan menjalankan aplikasi native di Docker kontainer (alpha)

Apa yang baru di versi 2.5.0:.

• perbaikan Authentication ketika menggunakan server proxy HTTP
• A Hadoop Metrik sink baru yang memungkinkan menulis langsung ke Graphite.
• Spesifikasi Hadoop upaya Filesystem Kompatibel.
• Dukungan untuk POSIX-gaya filesystem atribut diperpanjang.
• OfflineImageViewer untuk menelusuri sebuah fsimage melalui WebHDFS API.
• perbaikan dukung dan perbaikan bug ke gateway NFS.
• dimodernisasi web UIS (HTML5 dan Javascript) untuk daemon HDFS.
• BENANG ini dukungan REST API mengirimkan dan membunuh aplikasi.
• integrasi Kerberos untuk toko timeline BENANG ini.

Apa yang baru di versi 2.4.0:

• Dukungan untuk Access Control Lists di HDFS
• Dukungan asli untuk Rolling Upgrade di HDFS
• Penggunaan protokol-buffer untuk HDFS FSImage untuk upgrade operasional halus
• dukungan HTTPS Lengkap di HDFS
• Dukungan untuk Otomatis failover dari BENANG ResourceManager
• Peningkatan dukungan untuk aplikasi baru di BENANG dengan Aplikasi Sejarah Server dan Aplikasi Timeline Server
• Dukungan untuk SLA yang kuat di BENANG CapacityScheduler melalui Preemption

Apa yang baru di versi 2.3.0:.

• Dukungan untuk hierarki heterogen Penyimpanan di HDFS
• dalam memori cache untuk data HDFS dengan administrasi dan manajemen terpusat.
• Sederhana distribusi binari MapReduce melalui HDFS di BENANG Distributed Cache.

Apa yang baru di versi 2.2.0:

• BENANG - Sebuah sistem manajemen sumber daya tujuan umum untuk Hadoop untuk memungkinkan MapReduce dan kerangka kerja pengolahan data lainnya dan jasa lainnya
• Ketersediaan Tinggi untuk HDFS
• HDFS Federasi
• HDFS Snapshots
• akses NFSv3 data di HDFS

Apa yang baru di versi 2.1.0-beta:

• HDFS Snapshots
• Dukungan untuk menjalankan Hadoop pada Microsoft Windows
• BENANG API stabilisasi

Apa yang baru di versi 2.0.3-alpha:

• QJM untuk HDFS HA ​​untuk NameNode
• penjadwalan Multi-sumber daya (CPU dan memori) untuk BENANG
• BENANG ResourceManager Restart
• stabilitas Signifikan pada skala untuk BENANG (lebih dari 30.000 node dan 14 juta aplikasi sejauh ini, pada saat rilis)

Apa yang baru di versi 1.0.0:.

• Keamanan yang lebih baik
• HBase (menambahkan / hsynch / hflush, dan keamanan).
• webhdfs (dengan dukungan penuh untuk keamanan).
• Kinerja ditingkatkan akses ke file lokal untuk HBase.
• peningkatan kinerja lain, perbaikan bug, dan fitur.

Apa yang baru dalam versi 0.20.2:

• RPC Server send penyangga mempertahankan ukuran respon terbesar yang pernah mengirim.
• C ++ perpustakaan tidak membangun pada Debian Lenny.
• Beberapa c ++ script tidak chmodded sebelum eksekusi semut.
• Streaming:. Proses tersedia pesan status ditimpa setiap 10 seoncds
• IllegalArgumentException ketika CombineFileInputFormat digunakan sebagai InputFormat pekerjaan.
• Beberapa bug w / arsip Hadoop.
• Izinkan caching contoh filesystem dinonaktifkan pada basis per-instance.
• sinkronisasi untuk defaultResources Hilang di Configuration.addResource.
• GzipCodec tidak harus mewakili BuiltInZlibInflater sebagai decompressorType.
• NameNode ini HTTPServer tidak bisa instantiate InetSocketAddress: IllegalArgumentException dilemparkan
.
• HTTPServer tidur dengan nilai-nilai negatif.
• Namenode berjalan keluar dari memori karena kebocoran memori di IPC Server.
• IPC klien bug dapat menyebabkan rpc panggilan menggantung.
• Gagal tes mencegah sisa target uji dari eksekusi.
• tes Contrib gagal Clover'ed membangun.
• Tes tidak berjalan pada 0,20 cabang.
• TestStreamingStatus gagal pada 0,20 cabang.