MooseFS

MooseFS adalah toleran, jaringan terdistribusi sistem file kesalahan yang menyebar data melalui beberapa server fisik yang terlihat dengan pengguna sebagai salah satu sumber daya & nbsp; Untuk tindakan operasi file standar MooseFS sebagai file sistem Unix-sama lainnya.:
& Nbsp; * Struktur hirarkis (pohon direktori)
& Nbsp; * atribut berkas Toko POSIX (perizinan, akses terakhir dan modifikasi kali)
& Nbsp; * Mendukung file khusus (device blok dan karakter, pipa dan soket)
& Nbsp; * Simbolik link (nama file menunjuk ke menargetkan file, belum tentu pada MooseFS) dan hard link (nama file yang berbeda yang merujuk pada data yang sama pada MooseFS)
& Nbsp; * Akses ke sistem file dapat dibatasi berdasarkan alamat IP dan / atau kata sandi
Ciri khas MooseFS adalah:
& Nbsp; * keandalan tinggi (beberapa salinan data dapat disimpan di komputer yang terpisah)
& Nbsp; * Kapasitas dinamis diupgrade dengan melampirkan komputer baru / disk
& Nbsp; * Dihapus file disimpan untuk jangka waktu dikonfigurasi waktu (tingkat sistem file "sampah")
& Nbsp; * snapshot koheren file, bahkan ketika file sedang ditulis / diakses
MooseFS terdiri dari empat komponen:
& Nbsp; * Mengelola Server (master server) & ndash; satu mesin mengelola seluruh filesystem, menyimpan metadata untuk setiap file (informasi pada ukuran, atribut dan lokasi file (s), termasuk semua informasi tentang file non-reguler, yaitu direktori, soket, pipa dan perangkat).
& Nbsp; * server data (potongan server) - sejumlah server komoditas menyimpan data file dan sinkronisasi di antara mereka sendiri (jika file tertentu seharusnya ada di lebih dari satu salinan).
& Nbsp; * Metadata server cadangan (s) (metalogger server) - sejumlah server, yang semuanya changelogs toko metadata dan mendownload file metadata utama berkala; sehingga untuk mempromosikan server ini dengan peran Managing server bila master utama berhenti bekerja.
& Nbsp; * komputer Client yang mengakses (mount) file dalam MooseFS - sejumlah mesin menggunakan proses mfsmount untuk berkomunikasi dengan server mengelola (untuk menerima dan memodifikasi file metadata) dan dengan chunkservers (untuk bertukar file data yang sebenarnya).
mfsmount didasarkan pada mekanisme FUSE (Filesystem di userspace), sehingga MooseFS tersedia pada setiap Sistem Operasi dengan implementasi FUSE kerja (Linux, FreeBSD, MacOS X, dll)
Metadata disimpan dalam memori server mengelola dan sekaligus disimpan ke disk (sebagai file biner diperbarui secara berkala dan segera diperbarui log tambahan). File biner utama serta log disinkronisasi ke metaloggers (jika ada).
Data file dibagi menjadi fragmen (potongan) dengan maksimum 64MiB masing-masing. Setiap potongan itu sendiri sebuah file pada disk yang dipilih pada server data (chunkservers).
Keandalan yang tinggi dicapai dengan mengkonfigurasi banyak server data yang berbeda yang sesuai untuk mewujudkan "tujuan" Nilai (jumlah salinan untuk menjaga) ditetapkan untuk file yang diberikan.
bagaimana sistem bekerja
Semua operasi file di komputer klien yang telah terpasang MooseFS yang persis sama karena mereka akan dengan sistem file lain. Kernel sistem operasi transfer semua operasi file untuk modul FUSE, yang berkomunikasi dengan proses mfsmount. Proses mfsmount berkomunikasi melalui jaringan selanjutnya dengan server dan data server mengelola (sepotong server). Seluruh proses ini sepenuhnya transparan kepada pengguna.
mfsmount berkomunikasi dengan server mengelola setiap kali operasi pada file metadata diperlukan:
& Nbsp; * membuat file
& Nbsp; * menghapus file
& Nbsp; * membaca direktori
& Nbsp; * membaca dan mengubah atribut
& Nbsp; * mengubah ukuran file
& Nbsp; * pada awal membaca atau menulis data
& Nbsp; * pada setiap akses ke file khusus pada MFSMETA
mfsmount menggunakan koneksi langsung ke server data (potongan server) yang menyimpan potongan yang relevan dari file. Ketika menulis file, setelah menyelesaikan proses menulis server mengelola menerima informasi dari mfsmount untuk memperbarui panjang file dan waktu modifikasi terakhir.
Selanjutnya, server data (server potongan) berkomunikasi satu sama lain untuk replikasi data untuk mencapai jumlah yang tepat dari salinan file pada mesin yang berbeda.
& Nbsp;
FAULT TOLERANSI
& Nbsp;
Perintah administratif memungkinkan administrator sistem untuk menentukan "tujuan", atau jumlah salinan yang harus dipertahankan, pada tingkat per-direktori atau per-file. Pengaturan tujuan untuk lebih dari satu dan memiliki lebih dari satu server data yang akan memberikan toleransi kesalahan. Ketika file data disimpan dalam banyak salinan (pada lebih dari satu server data), sistem ini tahan terhadap kegagalan atau gangguan jaringan sementara server data tunggal.
Hal ini tentu saja tidak merujuk ke file dengan "tujuan" di set ke 1, dalam hal file hanya akan ada pada server data tunggal terlepas dari berapa banyak data yang server dikerahkan dalam sistem.
Sangat file penting mungkin memiliki tujuan mereka ditetapkan untuk jumlah yang lebih tinggi dari dua, yang akan memungkinkan file-file ini menjadi resisten terhadap gangguan dari lebih dari satu server sekaligus.
Secara umum pengaturan untuk jumlah salinan yang tersedia harus menjadi salah satu lebih dari jumlah diantisipasi server tidak dapat diakses atau out-of-order.
Dalam kasus di mana server data tunggal mengalami kegagalan atau pemutusan dari jaringan, file yang tersimpan di dalamnya yang memiliki setidaknya dua salinan, akan tetap dapat diakses dari server data yang lain. Data yang sekarang 'di bawah tujuannya' akan direplikasi pada server data yang dapat diakses lain untuk kembali memberikan jumlah yang diperlukan salinan.
Perlu dicatat bahwa jika jumlah server yang tersedia lebih rendah dari "tujuan" ditetapkan untuk file tertentu, jumlah yang diperlukan salinan tidak dapat dipertahankan. Demikian pula jika ada jumlah yang sama server sebagai tujuan saat ini ditetapkan dan jika server data telah mencapai 100% dari kapasitas, maka akan dapat mulai mengadakan copy dari file yang sekarang di bawah ambang batas tujuannya karena yang lain data server akan offline. Dalam kasus ini server data baru harus dihubungkan ke sistem sesegera mungkin untuk mempertahankan nomor yang dikehendaki salinan file.
Sebuah server data baru dapat dihubungkan ke sistem pada setiap saat. Kapasitas baru akan segera menjadi tersedia untuk digunakan untuk menyimpan file baru atau memegang salinan direplikasi file dari server data lainnya.
Utilitas administrasi ada untuk query status file dalam sistem file untuk menentukan apakah salah satu file yang sedang di bawah tujuan mereka (jumlah set salinan). Utilitas ini juga dapat digunakan untuk mengubah pengaturan tujuan yang diperlukan.
Fragmen data yang disimpan dalam potongan diversi, sehingga kembali menghubungkan server data dengan copy yang lebih tua dari data (seperti jika sudah offline untuk jangka waktu), tidak akan menyebabkan file menjadi kacau. Server data akan menyinkronkan diri untuk memegang versi terbaru dari potongan, di mana potongan usang akan dihapus dan ruang bebas akan dialokasikan untuk memegang potongan baru.
Kegagalan mesin klien (yang menjalankan proses mfsmount) akan memiliki pengaruh pada koherensi sistem file atau pada operasi klien lain. Dalam skenario terburuk data yang belum dikirim dari komputer klien gagal mungkin akan hilang.
& Nbsp;
Platform
& Nbsp; MooseFS tersedia pada setiap Sistem Operasi dengan implementasi FUSE kerja:
& Nbsp; * Linux (Linux 2.6.14 dan sampai memiliki dukungan FUSE termasuk dalam kernel resmi)
& Nbsp; * FreeBSD
& Nbsp; * OpenSolaris
& Nbsp; * MacOS X
Server master, Server metalogger dan chunkservers juga dapat dijalankan pada Solaris atau Windows dengan Cygwin. Sayangnya tanpa FUSE tidak akan mungkin untuk me-mount filesystem dalam sistem operasi

Apa yang baru dalam rilis ini:.

< li> Perubahan yang paling penting termasuk sinyal tetap penanganan dalam modul multithreaded, tujuan dan trashtime batas dalam mfsexport.cfg, dan cek sederhana untuk file metadata download.

Apa yang baru dalam versi 1.6.19:

• perubahan substansial diperkenalkan ke mesin metalogger dan metarestore alat untuk integritas yang lebih baik dari metadata.
• Sebuah progress bar scanning di CS ditambahkan.
• Nama master sekarang diselesaikan bila sambungan gagal.
• Sebuah sesi baru dibuat ketika sebelumnya hilang.
• Banyak perbaikan bug dan perbaikan lainnya dibuat.

Apa yang baru dalam versi 1.6.17:

• Dalam rilis ini kami memperkenalkan manajemen cache data otomatis
.
• Hal ini cukup untuk meng-upgrade hanya server master (tidak ada perubahan server potongan 'atau klien' kode dibuat).
• Mekanisme Cache kernel selalu telah ada tetapi sampai sekarang cache selalu dibersihkan saat membuka file. Sekarang MooseFS mengatur apakah untuk menghapus atau tidak dengan memeriksa jika file itu atau tidak dimodifikasi oleh klien lain. Mari kita lihat beberapa skenario.
• skenario Pertama:
• 1. Komputer A membaca file X
• 2. Komputer B membaca file X
• 3. Komputer A ingin membaca file X - kita meninggalkan cache (file tidak berubah)
• Skenario kedua:
• 1. Komputer A membaca file X
• 2. Komputer A menulis ke file X
• 3. Komputer A ingin tor membaca file X - kita meninggalkan cache (berkas berubah tetapi komputer A tahu tentang perubahan ini)
• skenario ketiga:
• 1. Komputer A membaca file X
• 2. Komputer B menulis ke file X
• 3. Komputer A ingin membaca file X - di sini kita harus memaksa untuk mengosongkan cache (karena perubahan yang dilakukan oleh B Komputer dan Komputer A tidak tahu tentang mereka)
• Dalam lingkungan nyata pertama dan kedua skenario terjadi jauh lebih sering daripada skenario ketiga dan itulah mengapa masuk akal untuk meninggalkan isi cache dan mendapatkan kinerja sistem secara keseluruhan.
• Tentu saja ada beberapa skenario berarti (tetapi mereka juga ada sebelum) seperti ini:
• 1. Komputer A membuka file X dan membacanya sekali (file tetap dalam cache)
• 2. Komputer B memodifikasi file X
• 3. Komputer A lagi membaca file X (tapi tanpa menutup atau membuka kembali itu - hanya bergerak pada posisi 0 dan membaca ulang itu)
• Dalam situasi ini Komputer A akan mendapatkan data yang sama seperti pada langkah 1 tapi sama juga terjadi di MooseFS sebelumnya.
• Sebuah nodatacache atribut juga diperkenalkan yang melarang untuk cache file. Dari versi 1.6.17 file dengan atribut nodatacache berperilaku seperti file lakukan dalam versi MooseFS. Bendera ini dapat digunakan dengan alat mfsseteattr, mfsdeleattr dan mfsgeteattr.
• Flag ini ditambahkan preventif dan mungkin Anda tidak akan perlu menggunakannya. Jika setelah beberapa waktu tampak bahwa ini benar-benar tidak berguna akan dihapus. Tetapi jika Anda menemukan kasus / skenario yang menuntut menonaktifkan cache mekanisme otomatis silahkan berbagi dengan kami.