DataFu

DataFu dikembangkan di LinkedIn dan ditulis seluruhnya di Jawa.

DataFu termasuk fungsi / perpustakaan untuk bekerja dengan:

- Statistik

- Estimasi

- Sampling

- Sesi

- Analisis Tautan

- Set operasi

- Tas

DataFu sempurna untuk pertambangan data dan aplikasi statistik bekerja di atas Hadoop atau Pig database.

Fungsi ini memungkinkan pengembang untuk mengambil keuntungan penuh dari semua data yang tersimpan di dalam Hadoop atau Pig Database tanpa harus berurusan dengan persyaratan sistem besar untuk melakukannya.

Apa yang baru dalam rilis ini:.

• Sepasang UDFS untuk simple random sampling dengan penggantian
• Lebih dependensi sekarang dikemas dalam DataFu sehingga lebih sedikit JAR dependensi yang diperlukan.
• SetDifference UDF untuk menghitung mengatur perbedaan (mis A-B atau A-B-C).

Apa yang baru di versi 1.2.0:

• Sepasang UDFS untuk simple random sampling dengan penggantian.
• Lebih dependensi sekarang dikemas dalam DataFu sehingga lebih sedikit JAR dependensi yang diperlukan.
• SetDifference UDF untuk menghitung mengatur perbedaan (mis A-B atau A-B-C).

Apa yang baru di versi 1.1.0:.

• Ditambahkan SHA hash UDF
• InUDF dan AssertUDF ditambahkan untuk Pig 0,12 kompatibilitas. Ini adalah sama seperti In dan Tegaskan.
• SimpleRandomSample, yang mengimplementasikan algoritma scalable simple random sampling.