DedupeCopy

DedupeCopy adalah alat copy sederhana multi-threaded file yang dirancang untuk mengkonsolidasikan dan restrukturisasi luas sistem berkas.
Kasus yang paling umum digunakan adalah untuk back up data ke layout baru, mengabaikan file digandakan.
Kegunaan lain meliputi:
& Nbsp; 1. Mendapatkan file .csv menjelaskan semua file digandakan
& Nbsp; 2. Membandingkan sistem file yang berbeda
& Nbsp; 3. Restrukturisasi set ada file ke layout yang berbeda (seperti diurutkan dengan ekstensi atau waktu modifikasi terakhir)
Alat ini * TIDAK * pengganti Robocopy atau rsync dan tidak mencoba untuk mengisi peran bermain mereka.
Seperti dengan semua kode yang berjalan pohon file, silahkan gunakan dengan hati-hati dan berharap benar-benar tidak ada garansi!
Contoh perintah:
& Nbsp; Menghasilkan laporan berkas duplikat untuk jalan:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py p / Users / r dupes.csv -m manifest
& Nbsp; Salin semua * .jpg file dari beberapa jalur ke struktur /YYYY_MM/*.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py p C: Pics p D: Pics -e jpg -R jpg: find c X: Pics
& Nbsp; Salin semua file dari dua drive ke satu target, melestarikan jalan untuk
& Nbsp; semua ekstensi:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py p C: p D: c X: m X: manifest -R *: no_change
& Nbsp; Lanjutkan lari terganggu (dengan asumsi "-m nyata" digunakan dalam jangka sebelumnya):
& Nbsp; & nbsp; & nbsp; dedupe_copy.py p / Users / r dupes_2.csv -i manifest -m manifest
Berurutan menyalin sumber yang berbeda ke dalam target yang sama, tidak menyalin file duplikat (2 sumber dan 1 target):
& Nbsp; & nbsp; & nbsp; 1.) catatan pertama memanifestasikan untuk semua perangkat
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; p dedupe_copy.py \ Target share -m target_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py p \ source1 share -m source1_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py p \ source2 share -m source2_manifest
& Nbsp; & nbsp; & nbsp; 2.) Salin setiap sumber ke target (menentukan --compare sehingga memanifestasikan dari
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; sumber-sumber lain yang dimuat tetapi tidak digunakan sebagai bagian dari set untuk menyalin dan
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --no-jalan untuk melewati ulang scan sumber):
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py p \ source1 share -c \ Target share source1_manifest -i
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source2_manifest --compare target_manifest & nbsp; --no-jalan
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py p \ source2 share -c \ Target share source2_manifest -i
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source1_manifest --compare target_manifest --no-jalan
Contoh lengkap:
& Nbsp; & nbsp; & nbsp;
& Nbsp; & nbsp; & nbsp; Dengan asumsi Anda mulai dengan satu set file ditata sebagai berikut:
& Nbsp; & nbsp; & nbsp; C:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Pics
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; some_photos
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo1.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; D:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Pics
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; copied_photo
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
& Nbsp; & nbsp; & nbsp; Dan Anda menjalankan perintah:
& Nbsp; & nbsp; & nbsp; > Dedupe_copy.py p C: Pics p D: Pics -e jpg -R jpg: find c X: Foto
Anda akan berakhir dengan berikut (photo3.jpg adalah duplikat yang benar):
& Nbsp; & nbsp; & nbsp; X:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; foto-foto
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_08
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo1.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_09
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
Proyek ini berada di bitbucket: http://www.bitbucket.org/othererik/dedupe_copy

Requirements:

• Python