DataCleaner

DataCleaner merupakan open source dan solusi benar-benar gratis untuk organisasi dan bisnis yang ingin meningkatkan dan mengukur kualitas data mereka.
Dengan DataCleaner, pengguna akan dapat profil, membandingkan, memvalidasi data terhadap aturan bisnis, dan memantau perkembangan pengukuran ini dari waktu ke waktu.
Di antara fitur-fiturnya, kita bisa menyebut data pemantauan, data profiling dan analisis DQ, pembersihan data dan pengayaan, mendeteksi dan menggabungkan duplikat, kualitas data pelanggan, serta ETLightweight super cepat (Extract-Transform-Load).
Untuk mempelajari lebih lanjut tentang fungsi dan kemampuan DataCleaner ini, serta bagaimana bekerja dengan itu, silakan lihat http://eobjects.dk/docs

What baru dalam rilis ini :

• Perbaikan dan fitur baru:
• Kami telah memungkinkan untuk membuat dan drop tabel melalui UI desktop DataCleaner. Perhatikan bahwa istilah & quot; meja & quot; sini benar-benar mencakup lebih dari tabel database hanya relasional. Hal ini juga termasuk bahan di datastores MS Excel, Koleksi di MongoDB, jenis Dokumen di CouchDB dan ElasticSearch dan seterusnya ... Pada dasarnya semua jenis datastore yang mendukung write-operasi, kecuali tabel tunggal datastores seperti datastores CSV, mendukung fungsi ini! Fungsi terkena melalui:
• & quot; Buat tabel & quot; diaktifkan melalui menu klik kanan skema di pohon di sisi kiri dari aplikasi.
• & quot; Buat tabel & quot; diaktifkan juga melalui input meja-pilihan dalam komponen seperti Insert ke dalam tabel, Tabel lookup dan Update meja.
• & quot; Jatuhkan meja & quot; diaktifkan melalui menu klik kanan tabel di pohon di sisi kiri dari aplikasi.
• Kami telah menambahkan (opsional) kemampuan menentukan web layanan Salesforce.com Anda Endpoint URL. Hal ini memungkinkan Anda untuk menggunakan DataCleaner untuk terhubung ke lingkungan sandbox dari Salesforce.com juga untuk endpoint kustom Anda sendiri.
• Dukungan ElasticSearch telah ditingkatkan, memungkinkan pemetaan kustom serta menggunakan kembali datastore definisi ElasticSearch sekarang juga untuk mencari dan pengindeksan.
• Pengambilan sampel catatan dan seleksi duplikat potensial dalam fungsi deteksi Duplikat telah ditingkatkan, yang mengarah ke konfigurasi yang lebih cepat karena keputusan yang dibuat selama sesi pelatihan yang lebih representatif.
• Deteksi Gandakan Format file model telah diperbarui yang telah menghilangkan kebutuhan untuk file terpisah 'referensi' untuk menghemat keputusan pelatihan masa lalu. Kompatibilitas dengan format lama telah dipertahankan, tetapi menggunakan format baru menambahkan banyak manfaat untuk pengalaman pengguna.
• Perbaikan bug:
• Masalah benang kelaparan itu tetap di DataCleaner memantau. Dampak dari masalah ini adalah besar, tapi itu terjadi hanya dalam kasus yang jarang dan sangat disesuaikan. Jika pendengar kustom objek pada monitor DataCleaner akan melempar kesalahan, itu akan menghasilkan sumber daya tidak pernah dibebaskan dan mengambil benang dari kolam Quartz-penjadwalan pada server. Jika hal ini akan terjadi berkali-kali server akhirnya bisa kehabisan benang di kolam renang itu.
• vertikal menu pada layar hasil sekarang melakukan pekerjaan yang layak menampilkan label dari komponen yang memiliki hasil. Hal ini membuat lebih mudah untuk mengenali mana item menu poin untuk apa barang hasil.

Apa yang baru di versi 3.5.7:

• 'Sinonim lookup' transformasi sekarang memiliki pilihan yang untuk mencari setiap tanda input. Hal ini berguna jika Anda melakukan penggantian sinonim dalam nilai-nilai dari kolom teks panjang.
• Memblokir pelaksanaan pekerjaan DataCleaner melalui layanan web monitor untuk ini kadang-kadang bisa gagal dengan bug yang disebabkan oleh thread memblokir. Masalah ini telah diperbaiki.
• Perbaikan dibuat dengan cara pekerjaan dan urutan komponen ditutup / dibersihkan setelah eksekusi.
• JNLP / Java WebStart versi DataCleaner terkena oleh bug di Java runtime menyebabkan file JAR tertentu tidak akan diakui oleh peluncur WebStart, dalam keadaan tertentu. Masalah ini telah diperbaiki dengan membuat sedikit modifikasi untuk file-file JAR.
• Sebuah link mati beberapa di dokumentasi itu tetap.

Apa yang baru di versi 3.5.4:

• Sekarang mungkin untuk menyembunyikan kolom output transformasi . Bersembunyi tidak akan mempengaruhi aliran pengolahan sama sekali, tetapi hanya menyembunyikan mereka dari antarmuka pengguna, dan dengan demikian berpotensi membuat pengalaman lebih bersih, saat berinteraksi dengan komponen lain.
• Sebuah layanan web baru telah ditambahkan ke aplikasi monitoring web, yang menyediakan cara untuk polling status pelaksanaan pekerjaan tertentu.
• Sebuah bug telah diperbaiki, menyebabkan laporan HTML gagal untuk jenis analisis tertentu ketika ada catatan telah diproses.
• Dan 6 bug kecil lainnya telah adressed
.

Apa yang baru di versi 3.5.1:

• Ambil berubah catatan:
• Sebuah filter baru telah ditambahkan untuk memungkinkan pengolahan tambahan dari catatan yang belum diproses sebelumnya, misalnya untuk profiling atau menyalin hanya dimodifikasi catatan. Nama filter baru adalah Tangkap berubah catatan, mengacu pada konsep capture Perubahan data.
• Antri pelaksanaan pekerjaan:
• DataCleaner Monitor sekarang akan antrian pelaksanaan pekerjaan yang sama, jika dipicu beberapa kali. Hal ini memastikan bahwa Anda tidak sengaja menjalankan pekerjaan yang sama secara bersamaan yang dapat menyebabkan segala macam masalah, tergantung pada apa pekerjaan yang dilakukannya.
• perbaikan bug minor:
• Beberapa perbaikan bug dilaksanakan.

Apa yang baru di versi 3.5:

• Beberapa penyihir yang sekarang tersedia untuk mendaftarkan datastores; termasuk berkas-upload ke server untuk file CSV, entri koneksi database, pendaftaran dipandu Salesforce.com kredensial dan lebih
.
• Para penyihir bangunan pekerjaan juga telah diperpanjang dengan beberapa fitur yang disempurnakan; Pemilihan distribusi nilai dan pola menemukan bidang dalam analisis penyihir Cepat, wizard yang sama sekali baru untuk menciptakan EasyDQ pekerjaan berdasarkan pembersihan pelanggan dan wizard pekerjaan baru untuk menembak pekerjaan Pentaho Data Integration (baca lebih lanjut di bawah).
• Anda sekarang dapat ad-hoc permintaan datastore apapun secara langsung di antarmuka web pengguna. Hal ini membuat mudah untuk mendapatkan wawasan cepat atau sporadis ke dalam data tanpa pengaturan pekerjaan atau pendekatan dikelola lain dari pengolahan data.
• Setelah pekerjaan atau datastores diciptakan, pengguna dipandu untuk mengambil tindakan dengan objek baru dibangun. Misalnya, Anda dapat dengan cepat menjalankan pekerjaan tepat setelah itu dibangun, atau query datastore setelah pendaftarannya.
• Administrator sekarang dapat langsung meng-upload pekerjaan ke repositori, yang terutama berguna jika Anda ingin tangan-mengedit konten XML dari file pekerjaan.
• Banyak cruft teknis kini tersembunyi dalam mendukung menunjukkan dialog sederhana. Misalnya, ketika pekerjaan dipicu indikator loading besar ditampilkan, dan ketika selesai hasilnya akan ditampilkan. Layar logging yang canggih yang sebelumnya ada masih dapat ditampilkan setelah mengklik link untuk rincian tambahan.

Apa yang baru di versi 3.1.2:

• Kami telah menambahkan layanan web dalam pemantauan aplikasi untuk mendapatkan (daftar) nilai-nilai metrik. Hal ini membuat pemantauan bahkan lebih bermanfaat sebagai komponen infrastruktur kunci, sebagai cara untuk memantau data (kualitas) dan mengekspos hasil untuk aplikasi pihak ketiga.
• Komponen 'lookup Table' telah diperbaiki dengan menambahkan bergabung semantik sebagai properti dikonfigurasi. Menggunakan bergabung semantik Anda dapat men-tweak jika Anda ingin lookup untuk bekerja semantik seperti LEFT JOIN atau INNER JOIN.
• Komponen EasyDQ telah ditingkatkan, menambahkan opsi konfigurasi lanjut dan deduplication hasil antarmuka yang lebih kaya.
• Kinerja perbaikan telah fokus khusus dari rilis ini. Perbaikan telah dibuat dalam mesin DataCleaner untuk lebih menggunakan pendekatan pengolahan streaming sudut kasus tertentu yang tidak tercakup sebelumnya.

Apa yang baru di versi 3.1.1:

• Tanggal dan waktu terkait pilihan analisis telah diperluas , menambahkan analisis distribusi untuk nomor minggu, bulan dan tahun. Semua analisa yang berhubungan dengan tanggal dan waktu sekarang dikelompokkan dalam submenu disebut & quot; Tanggal dan waktu & quot; di bawah & quot; Analisa & quot;.
• Sebuah opsional & quot; & quot statistik deskriptif; Pilihan telah ditambahkan ke analyzer Nomor dan Tanggal / waktu analyzer. Pilihan ini menambahkan metrik tambahan untuk hasil analisa tersebut, seperti Median, Skewness, persentil dan Kurtosis. Metrik ini adalah opsional karena jejak memori mereka agak lebih besar dari metrik yang ada.
• Garis-garis di grafik timeline aplikasi web monitoring sekarang memiliki titik-titik kecil di dalamnya. Hal ini sangat berguna untuk grafik dengan beberapa (atau bahkan hanya satu) pengamatan di dalamnya -. Untuk menunjukkan persis di mana titik-titik pengamatan yang
• Query parser saat menjalankan query ad-hoc juga telah secara substansial ditingkatkan. Sekarang pertanyaan dapat berisi klausul DISTINCT, * -wildcards, subqueries dan kesalahan-toleran terhadap isu-isu teks-kasus.
• Dua trafo baru telah ditambahkan untuk menghasilkan UUIDs dan untuk menghasilkan cap waktu.

Apa yang baru di versi 3.1:

• formula Metric - diuraikan Kualitas Data KPI:
• Sekarang mungkin untuk membangun lebih rumit Kualitas Data KPI dalam aplikasi web DataCleaner ini pemantauan. User interface memungkinkan Anda untuk membangun formula kompleks dalam gaya rumus spreadsheet seperti; menggunakan variabel yang dikumpulkan oleh pekerjaan DataCleaner.
• formula Metric dapat menggabungkan sejumlah metrik, konstanta dan operasi, asalkan dapat dinyatakan dalam persamaan matematika.
• Misalnya - mengukur tingkat duplikat catatan dalam persentase jumlah total catatan. Atau mengukur jumlah kode produk yang sesuai dengan seperangkat beberapa pola tali.
• Ad-hoc query - dari datastore setiap:
• Dengan DataCleaner 3.1 kini Anda dapat melakukan query ad-hoc untuk datastore apapun! Query dapat dinyatakan dalam SQL polos dan akan diterapkan ke database serta file, database NoSQL dan banyak lagi, menyediakan mekanisme permintaan benar-benar membantu untuk memperpanjang ke dalam pengalaman Anda penemuan dan data profil.
• Pilihan permintaan juga tersedia melalui layanan web untuk memantau pengguna dengan peran ADMIN. Query disediakan sebagai parameter HTTP atau POST tubuh, dan hasilnya diberikan sebagai tabel XHTML.
• Nilai matcher - pilihan analisis baru:
• Sering kali Anda memiliki ide yang kuat yang nilainya harus diperbolehkan dan diharapkan untuk bidang tertentu. Dalam DataCleaner ada selalu pilihan analisis Nilai Distribusi yang akan membantu Anda menegaskan asumsi Anda. Dalam DataCleaner 3.1 meskipun, Anda memiliki penawaran yang lebih tepat - Nilai matcher. Pilihan analisis ini memungkinkan Anda untuk menentukan seperangkat nilai-nilai yang diharapkan dan kemudian melakukan distribusi nilai seperti analisis, khusus untuk memvalidasi dan mengidentifikasi nilai-nilai yang tak terduga.
• Menyalin, menghapus dan manajemen pekerjaan:
• Manajemen pekerjaan dan hasil dalam aplikasi memantau DataCleaner telah meningkat pesat. Sekarang Anda dapat mengklik pekerjaan di halaman Penjadwalan monitor, dan menemukan pilihan manajemen yang tersedia untuk operasi seperti penggantian nama, menyalin, menghapus dan banyak lagi. Setiap operasi menghormati hubungan dengan artefak lainnya di monitor, seperti hasil analisis, jadwal dan banyak lagi. Ini berarti bahwa pengelolaan repositori pemantauan telah menjadi jauh lebih mudah dan matang.
• Mengelola riwayat kualitas data:
• Kadang-kadang Anda menghadapi situasi di mana Anda benar-benar ingin melakukan pemantauan dengan data historis! Mungkin saja Anda memiliki pembuangan bersejarah atau backup database, yang Anda ingin menunjukkan dan menceritakan kisah. Anda sekarang dapat melakukan analisis data bersejarah ini, meng-upload ke monitor DataCleaner, dan menggunakan layanan web baru, menetapkan data historis dari yang hasil analisis tertentu. Ini berarti bahwa jadwal Anda dengan benar akan plot hasil menggunakan tanggal mereka dimaksudkan, tetapi dengan hasil yang sudah Anda kumpulkan mungkin pada suatu titik kemudian dalam waktu.
• dukungan scheduler Clustered (EE saja):
• The scheduler dari DataCleaner memantau telah externalized, sehingga bisa diganti dengan sarana konfigurasi yang sederhana. Dalam Edisi Enterprise (EE) dari DataCleaner, kami menyediakan scheduler berkerumun, menyediakan kemampuan untuk memuat keseimbangan dan mendistribusikan eksekusi Anda di sekelompok mesin.
• Single-signon (SSO) menggunakan CAS (EE saja):
• Dalam Enterprise Edition (EE) dari DataCleaner kami sekarang menyediakan pilihan tunggal signon untuk aplikasi Monitor. Sekarang DataCleaner dapat menjadi bagian yang terintegrasi dari infrastruktur TI Anda, juga keamanan-bijaksana.
• ... Dan banyak lagi:
• atas adalah hanya ringkasan. Lebih dari tiga puluh masalah telah diselesaikan dalam rilis ini. Kami telah memecahkan beberapa permintaan yang datang dari forum dan komunitas, dan kami mendorong semua orang untuk menggunakan media ini sebagai kendaraan untuk perubahan. Kami sangat senang untuk membuat pengembangan DataCleaner akan sangat dipengaruhi oleh aliran di masyarakat.

Apa yang baru di versi 3.0.3:

• Menambahkan layanan untuk mengubah nama pekerjaan dalam repositori pemantauan
.
• Anda dapat mengakses ini sebagai layanan Web tenang atau interaktif di UI.
• Sebuah layanan Web ditambahkan untuk mengubah tanggal bersejarah hasil analisis dalam repositori monitoring.
• Aplikasi Web telah dibuat kompatibel dengan wadah warisan JSF.
• Caching konfigurasi dalam aplikasi Web telah sangat meningkat, menyebabkan beban halaman dan inisialisasi pekerjaan kali lebih cepat.

Apa yang baru di versi 3.0.2:

• Ketika memicu pekerjaan di aplikasi web monitoring, panel auto-refresh setiap detik untuk mendapatkan negara terbaru dari eksekusi.
• berbasis Berkas datastores (seperti CSV atau Excel spreadsheet) dengan path absolut sekarang benar diselesaikan dalam aplikasi monitoring web.
• & quot; Pilih dari kunci / nilai peta & quot; transformator sekarang mendukung pilih ekspresi bersarang seperti & quot; Address.Street & quot; atau & quot; OrderLines [0] .product.name & quot;
.
• Mekanisme tabel telah dioptimalkan untuk kinerja, menggunakan pernyataan siap ketika menjalankan melawan database JDBC.
• Administrator sekarang dapat men-download datastores berbasis file langsung dari & quot; Datastores & quot; Halaman.
• Exception handling dalam aplikasi monitoring web telah meningkat sedikit, membuat pesan kesalahan yang lebih tepat dan intuitif.