Apache Flume

Apache Flume dikembangkan sebagai sistem perantara yang mengumpulkan kayu dari satu aplikasi dan mengirimkannya ke yang lain.
Ini harus bekerja dengan sebagian besar aplikasi Java dan pengembang harus yakin, Flume dilindungi terhadap kehilangan data dan kegagalan layanan.
Data log streaming secara real-time melalui sistem fault tolerant dengan dukungan untuk banyak failover dan pemulihan mekanisme.
Karena Flume berjalan dari satu lokasi pusat, pengembang dapat dengan mudah mengelola dan juga memanfaatkan sumber daya untuk statistik dan tujuan analisis.
Sebuah fitur tersembunyi dari Flume adalah sebenarnya sistem "Data-agnostik" nya. Ini berarti Anda dapat dengan mudah beralih sumber aliran data dari sebuah keluaran log untuk apa pun dan menggunakan Flume informasi aman agregat dari berbagai jenis layanan.
Ini dapat pesan email, aliran media sosial, lalu lintas jaringan, dan sebagainya

Apa yang baru dalam rilis ini:.

• Menghapus SSLv2Hello menyebabkan Java 6 klien untuk istirahat
• Aktifkan SSLv2Hello untuk Avro Sumber dan NettyAvroRpcClient
• Aktifkan SSLv2Hello untuk HttpSource
• Ditambahkan dev-dukungan untuk src tarball
• Unit uji TestHTTPSource.java gagal dengan IBM JDK 1,7
• HTTP Sumber harus dapat memblokir satu set diawali dari protokol.
• HTTPS tes gagal di Jawa 6
• Izinkan konfigurasi protokol diaktifkan pada sumber Avro dan RPC klien

Apa yang baru di versi 1.5.2:

• Menghapus SSLv2Hello menyebabkan Java 6 klien untuk istirahat
• Aktifkan SSLv2Hello untuk Avro Sumber dan NettyAvroRpcClient
• Aktifkan SSLv2Hello untuk HttpSource
• Ditambahkan dev-dukungan untuk src tarball
• Unit uji TestHTTPSource.java gagal dengan IBM JDK 1,7
• HTTP Sumber harus dapat memblokir satu set diawali dari protokol.
• HTTPS tes gagal di Jawa 6
• Izinkan konfigurasi protokol diaktifkan pada sumber Avro dan RPC klien

Apa yang baru di versi 1.5.0:

• Fitur Baru:
• Mengenalkan semacam SpillableChannel
• Izinkan SpoolDir untuk lulus hanya nama file yang merupakan sumber dari suatu peristiwa
• Flume Konteks tidak mendukung mengapung atau nilai-nilai konfigurasi ganda.
• Tingkatkan morphlines ke 0.7.0
• flume-ng-log4jappender Dukungan pengguna header disediakan
• Elasticsearch Sink untuk ES HTTP API
• Ditambahkan wastafel untuk Kite dataset
• direktori Spooling tidak harus selalu mengkonsumsi file tertua pertama.
• Perbaikan:
• konfigurasi sampel Panduan Pengguna Flume perlu diperbaiki
• Membuat SpoolDir bekerja dengan Sub-Direktori
• Spooling sumber direktori harus dapat mengganti atau mengabaikan karakter cacat
• Menangani muatan yang lebih besar melalui SyslogUDPSource
• Tingkatkan ketergantungan morphline perpustakaan untuk rilis 0.5.0
• Mengurangi duplikat peristiwa yang disebabkan oleh ulang-koneksi-selang

Apa yang baru di versi 1.3.0:

• Ditambahkan HTTP Posting Sumber
• ElasticSearch Sink
• Flume mengadopsi pesan dari Scribe lokal yang ada
• Ditambahkan sumber multiport syslog
• File Saluran harus mendukung enkripsi
• Buat Sumber SpoolDirectory dan Client
• Load Balancing RPC klien harus mendukung exponential backoff node gagal
• Dump Status kontra RollingFileSink ketika agen berhenti
• Regex Extractor Interceptor

Apa yang baru di versi 1.2.0:

• Diimplementasikan Memory Durable Saluran
• Dibuat panduan pengembang untuk Flume NG
• Client SDK
• Diimplementasikan tahan lama FileChannel
• Interceptors Diimplementasikan (sebelumnya dikenal sebagai dekorator) untuk Flume 1.x
• Diimplementasikan sebuah HBase Sink yang mendukung akses tingkat meja
• Diimplementasikan Timestamp Interceptor
• Asynchronous HBase Sink

Persyaratan :

• Java 1.6 atau lebih tinggi