S3QL

S3QL mendukung Amazon S3 serta server SFTP sewenang-wenang dan efektif memberikan Anda dengan hard disk dinamis, kapasitas tak terbatas yang dapat diakses dari komputer manapun dengan akses internet.
S3QL menyediakan standar, penuh fitur file system UNIX yang secara konseptual dapat dibedakan dari sistem file lokal. Selain itu, S3QL memiliki fitur tambahan seperti kompresi, enkripsi, data de-duplikasi, pohon kekal dan snapshotting yang membuatnya sangat cocok untuk backup online dan arsip.
S3QL dirancang untuk mendukung kesederhanaan dan keanggunan atas kinerja dan fitur-merayap. Perawatan telah diambil untuk membuat kode sumber yang dapat dibaca dan berguna mungkin. Deteksi kesalahan yang solid dan penanganan error telah dimasukkan dari baris pertama, dan S3QL dilengkapi dengan kasus uji otomatis yang luas untuk semua komponennya.
Sebelum sistem file dapat dipasang, backend yang akan menyimpan data tersebut harus diinisialisasi. Hal ini dilakukan dengan perintah mkfs.s3ql. Di sini kita menggunakan backend Amazon S3, dan nikratio-s3ql-ember ember S3 di mana sistem file akan disimpan.
mkfs.s3ql s3: // nikratio-s3ql-ember
Untuk me-mount sistem file S3QL disimpan dalam S3 ember nikratio_s3ql_bucket di direktori / mnt / s3ql, masukkan:
mount.s3ql s3: // nikratio-s3ql-ember / mnt / s3ql
Sekarang Anda dapat menginstruksikan program cadangan favorit Anda untuk menjalankan backup ke direktori / mnt / s3ql dan data akan disimpan Amazon S3. Setelah selesai, sistem file harus unmount dengan
umount.s3ql / mnt / s3ql

Fitur :

• Transparansi. Secara konseptual, S3QL tidak dapat dibedakan dari sistem file lokal. Misalnya, mendukung hardlinks, symlink, unix hak akses penuh, atribut diperpanjang dan ukuran file hingga 2 TB.
• Dinamis Size. Ukuran sistem file S3QL tumbuh dan menyusut secara dinamis sesuai kebutuhan.
• Kompresi. Sebelum penyimpanan, semua data dapat dikompresi dengan LZMA, bzip2 atau algoritma LZ.
• Enkripsi. Setelah kompresi (tapi sebelum upload), semua data AES dapat dienkripsi dengan kunci 256 bit. Tambahan SHA256 HMAC checksum digunakan untuk melindungi data terhadap manipulasi.
• Data De-duplikasi. Jika beberapa file memiliki isi yang sama, data yang berlebihan akan disimpan hanya sekali. Ini bekerja di semua file yang tersimpan dalam sistem file, dan juga jika hanya beberapa bagian dari file-file tersebut identik sementara bagian lain berbeda.
• Pohon kekal. Pohon direktori dapat dibuat berubah, sehingga isinya tidak bisa lagi diubah dengan cara apapun. Hal ini dapat digunakan untuk memastikan bahwa backup tidak dapat diubah setelah mereka telah dibuat.
• Copy-on-Write / snapshotting. S3QL dapat meniru seluruh pohon direktori tanpa menggunakan ruang penyimpanan tambahan. Hanya jika salah satu salinan dimodifikasi, bagian dari data yang telah dimodifikasi akan mengambil ruang penyimpanan tambahan. Hal ini dapat digunakan untuk membuat snapshot cerdas yang melestarikan keadaan direktori pada titik-titik yang berbeda dalam waktu menggunakan jumlah minimum ruang.
• Kinerja independen Tinggi jaringan latency. Semua operasi yang tidak menulis atau membaca isi file (seperti membuat direktori atau bergerak, mengubah nama, dan mengubah hak akses file dan direktori) sangat cepat karena mereka dilakukan tanpa transaksi jaringan.
• S3QL mencapai ini dengan menyimpan seluruh file dan struktur direktori dalam database. Database ini secara lokal cache dan copy remote diperbarui asynchronous.
• Dukungan untuk koneksi bandwidth rendah. S3QL membagi isi file ke dalam blok yang lebih kecil dan cache blok lokal. Ini meminimalkan baik jumlah transaksi jaringan yang diperlukan untuk membaca dan menulis data, dan jumlah data yang harus ditransfer bila hanya bagian dari sebuah file yang dibaca atau ditulis.

Apa yang baru dalam rilis ini:

• Upaya untuk meng-upgrade filesystem yang sudah di revisi terbaru tidak lagi membuat metadata lokal copy tidak dapat digunakan.
• Google nama penyimpanan ember yang berisi titik-titik tidak lagi menyebabkan masalah dengan validasi sertifikat SSL.
• Perbaikan crash ketika statvfs () dipanggil pada sistem file hampir kosong.
• Ada yang baru & quot; swiftks & quot; backend untuk OpenStack / Swift server.
• Menghilangkan kondisi lomba yang dapat menyebabkan mount.s3ql menerjang dengan & quot; KeyError dalam koleksi / abc.py & quot;.
• Perbaikan kecelakaan yang dapat terjadi ketika mencoba untuk membersihkan setelah menerima koneksi atau server error ketika meng-upload sebuah obyek.

Apa yang baru di versi 2.2:

• S3QL sekarang menggunakan koneksi SSL secara default dan memverifikasi sertifikat server.
• Kondisi ras yang mengakibatkan kerugian jelas metadata remote tetap.
• The S3 backend sekarang menghapus beberapa objek penyimpanan menggunakan satu permintaan jika mungkin, mengurangi latency, lalu lintas, dan jumlah permintaan untuk S3.
• S3QL sekarang mampu mendeteksi kesalahan server dan pengalihan sebelum semua data telah dikirim ke server.
• Sebuah baru 'rackspace' backend yang memungkinkan spesifikasi daerah penyimpanan objek dalam URL penyimpanan ditambahkan.
• Pilihan --compress mount.s3ql sekarang memungkinkan spesifikasi tingkat kompresi.

Apa yang baru dalam versi 1.15:

• Bersepeda backup metadata bila menggunakan backend lokal sekarang memakan waktu lebih sedikit waktu.
• Hal ini tidak lagi diperlukan bahwa S3QL dan Python APSW dihubungkan dengan SQLite yang sama bersama perpustakaan.
• Dalam mount.s3ql, kecelakaan saat menggunakan --metadata upload interval 0 adalah tetap.
• Alih-alih sepenuhnya unmounting sistem file (dan meninggalkan mount point tidak dapat diakses) ketika data backend hilang atau rusak, S3QL sekarang kembali kesalahan dan switch untuk read-only operasi.

Apa yang baru dalam versi 1.13:

• Versi ini perbaikan bug yang menyebabkan metadata cacat ditulis ketika menggunakan versi eglibc baru-baru ini.
• Ini perbaikan masalah ketika mencoba untuk mengakses sebuah direktori akar dari filesystem yang baru-baru ini telah dihapus dengan s3qlrm.
• dukungan pura-pura ACL telah dihapus.
• menangani rilis ini lebih baik ember dengan nama DNS yang tidak valid
.
• Ini akan mencoba lagi jika DNS tidak tersedia.

Apa yang baru dalam versi 1.11.1:

• Versi ini perbaikan kecelakaan ketika menggunakan backend S3 (regresi diperkenalkan dalam rilis 1.11), meningkatkan minimum dilaporkan ukuran filesystem ke 1 TB, dan bekerja di sekitar bug df sehingga ukuran dilaporkan dengan benar.

Apa yang baru dalam versi 1.11:

• Metadata tentang obyek yang tersimpan sekarang dibagi menjadi beberapa bidang, sehingga tidak ada medan lebih panjang dari 256 byte. (Hal ini membuat S3QL kompatibel dengan jangkauan yang lebih luas dari penyedia penyimpanan.) The backend SWIFT sekarang mencoba lagi jika menerima 5xx kode kesalahan dari server jauh, dan tidak lagi gagal ketika mencoba untuk meng-upload data dengan token otorisasi kedaluwarsa.

Apa yang baru dalam versi 1.10:

• S3s, s3cs, dan backends SSU telah dihapus. Gunakan opsi --ssl baru bersama-sama dengan s3, S3C, dan gs backend sebagai gantinya.
• S3QL tidak lagi melacak jaminan konsistensi untuk backends berbeda.
• Meningkatnya jumlah penyedia penyimpanan yang berbeda menawarkan berbagai daerah, redundansi, dan tingkat ketersediaan membuat ini tidak layak lagi.
• Panduan Pengguna berisi bagian baru, & quot; Aturan Penting untuk Hindari Kehilangan Data & quot;.
• Membaca sangat disarankan.

Apa yang baru di versi 1.9:

• Versi ini membuat berkas kali tidak lagi berubah ketika mengubah sistem zona waktu, perbaikan dan meningkatkan contrib / benchmark.p, perbaikan & quot; Terlalu banyak pengalihan dirantai & quot; bug, mencoba lagi pada kesalahan 5xx, dan menambahkan dukungan asli eksperimental untuk server OpenStack / SWIFT dan dukungan proxy eksperimental.

Apa yang baru dalam versi 1.8:

• A & quot; ValueError: Tidak dapat membuang nilai-nilai NULL & quot; crash ketika sistem file metadata yang diupload selama aktivitas sistem file berat itu tetap.
• s3qlcp dan daftar direktori kinerja untuk direktori yang sangat besar ditingkatkan.
• Sebuah regresi kinerja rm itu tetap.
• -. Blocksize ini berganti nama menjadi max-obj-size
• Beberapa crash yang terjadi di bawah penggunaan sistem file berat bersamaan yang tetap.
• python-llfuse 0,37 sekarang digunakan.

Keterbatasan :

• Masih banyak bug dalam kode dan Anda harus siap untuk menangani mereka. Namun demikian, Anda dapat cukup yakin bahwa bug (meskipun nyaman) tidak akan membahayakan data yang disimpan.