Apache Hadoop

Data besar adalah istilah pemasaran yang mencakup seluruh gagasan data yang ditambang dari sumber seperti mesin telusur, pola pembelian toko kelontong yang dilacak melalui kartu poin dll. Di dunia modern, internet memiliki begitu banyak sumber data, yang lebih sering daripada tidak membuat skala tidak dapat digunakan tanpa pemrosesan dan pemrosesan akan membutuhkan waktu yang sangat lama oleh satu server. Masukkan Apache Hadoop

Dengan memanfaatkan arsitektur Hadoop untuk mendistribusikan memproses tugas di beberapa mesin pada jaringan , waktu pemrosesan menurun secara astronomi dan jawaban dapat ditentukan dalam jumlah waktu yang wajar. Apache Hadoop dibagi menjadi dua komponen berbeda: komponen penyimpanan dan komponen pemrosesan. Dalam istilah yang paling sederhana, Hapood membuat satu server virtual dari beberapa mesin fisik . Pada kenyataannya, Hadoop mengelola komunikasi antara beberapa mesin sedemikian rupa sehingga mereka bekerja sama cukup dekat sehingga tampak seolah-olah hanya ada satu mesin yang bekerja pada perhitungan. Data didistribusikan di beberapa mesin untuk disimpan dan tugas pemrosesan dialokasikan dan dikoordinasikan oleh arsitektur Hadoop

. Jenis sistem ini adalah persyaratan untuk mengubah data mentah menjadi informasi yang berguna pada skala input Big Data. Pertimbangkan jumlah data yang diterima oleh Google setiap detik dari pengguna yang memasukkan permintaan pencarian. Sebagai total data, Anda tidak akan tahu harus mulai dari mana, tetapi Hadoop akan secara otomatis mengurangi kumpulan data ke dalam kumpulan data yang lebih kecil dan terorganisasi dan menugaskan subset yang dapat dikelola ini ke sumber daya tertentu. Semua hasil kemudian dilaporkan kembali dan dikumpulkan menjadi informasi yang dapat digunakan .

Server mudah diatur

Meskipun sistem terdengar rumit, sebagian besar bagian yang bergerak dikaburkan di belakang abstraksi. Menyiapkan server Hadoop cukup sederhana , cukup instal komponen server pada perangkat keras yang memenuhi persyaratan sistem. Bagian yang lebih sulit adalah merencanakan jaringan komputer bahwa server Hadoop akan memanfaatkan untuk mendistribusikan peran penyimpanan dan pengolahan. Ini dapat melibatkan menyiapkan jaringan area lokal atau menghubungkan beberapa jaringan bersama-sama di seluruh Internet . Anda juga dapat memanfaatkan layanan cloud yang ada dan membayar untuk kelompok Hadoop di platform cloud populer seperti Microsoft Azure dan Amazon EC2. Ini bahkan lebih mudah dikonfigurasi karena Anda dapat memutarnya menjadi ad hoc dan kemudian menonaktifkan kluster ketika Anda tidak membutuhkannya lagi. Jenis gugus ini ideal untuk pengujian karena Anda hanya membayar waktu saat kluster Hadoop aktif.

Proses data Anda untuk mendapatkan informasi yang Anda butuhkan

Data besar adalah sumber daya yang sangat kuat, tetapi data tidak berguna kecuali jika dapat dikategorikan dengan tepat dan diubah menjadi informasi. Saat ini, kelompok Hadoop menawarkan metode yang sangat efektif biaya untuk memproses kumpulan data ini menjadi informasi.