MDP

MDP (toolkit Modular untuk Pengolahan Data) adalah perpustakaan banyak digunakan algoritma pengolahan data yang dapat dikombinasikan sesuai dengan analogi pipa untuk membangun perangkat lunak pengolahan data yang lebih kompleks.
Dari perspektif pengguna, MDP terdiri dari kumpulan algoritma diawasi dan tanpa pengawasan belajar, dan data lainnya pengolahan unit (node) yang dapat dikombinasikan menjadi urutan pengolahan data (arus) dan lebih kompleks arsitektur jaringan umpan-maju. Mengingat satu set data input, MDP mengurus berturut-turut melatih atau mengeksekusi semua node dalam jaringan. Hal ini memungkinkan pengguna untuk menentukan algoritma yang kompleks sebagai rangkaian sederhana langkah-langkah pengolahan data dengan cara alami.
Dasar algoritma yang tersedia terus meningkat dan termasuk, untuk nama tapi yang paling umum, Principal Component Analysis (PCA dan NIPALS), beberapa algoritma Independent Component Analysis (CuBICA, FastICA, TDSEP, JADE, dan XSFA), Fitur Analisis Lambat, Gaussian pengklasifikasi, Dibatasi Boltzmann Machine, dan lokal Embedding Linear.
Perhatian khusus telah diambil untuk membuat perhitungan yang efisien dalam hal kecepatan dan memori. Untuk mengurangi kebutuhan memori, adalah mungkin untuk melakukan pembelajaran menggunakan batch data, dan untuk menentukan parameter internal node menjadi presisi tunggal, yang membuat penggunaan data yang sangat besar set mungkin. Selain itu, sub-paket 'paralel' menawarkan implementasi paralel node dasar dan arus.
Dari perspektif pengembang, MDP adalah kerangka yang membuat pelaksanaan algoritma pembelajaran terawasi dan terawasi baru mudah dan sederhana. Kelas dasar, 'Node', mengurus tugas-tugas membosankan seperti jenis numerik dan memeriksa dimensi, meninggalkan pengembang bebas untuk berkonsentrasi pada pelaksanaan pembelajaran dan pelaksanaan tahapan. Karena antarmuka umum, node maka secara otomatis terintegrasi dengan sisa perpustakaan dan dapat digunakan dalam jaringan bersama-sama dengan node lainnya. Sebuah node dapat memiliki beberapa fase pelatihan dan bahkan jumlah yang belum ditentukan fase. Hal ini memungkinkan penerapan algoritma yang perlu untuk mengumpulkan beberapa statistik di seluruh masukan sebelum melanjutkan dengan pelatihan yang sebenarnya, dan lain-lain yang perlu iterate atas fase pelatihan sampai kriteria konvergensi puas. Kemampuan untuk melatih setiap tahap menggunakan potongan input data dipertahankan jika potongan dihasilkan dengan iterator. Selain itu, pemulihan kecelakaan adalah opsional tersedia: dalam hal kegagalan, keadaan saat ini aliran tersebut disimpan untuk pemeriksaan nanti.
MDP telah ditulis dalam konteks penelitian teoritis dalam ilmu saraf, tetapi telah dirancang untuk membantu dalam konteks di mana algoritma pengolahan data dilatih digunakan. Kesederhanaan di sisi pengguna bersama-sama dengan usabilitas dari node diimplementasikan membuatnya juga merupakan alat pendidikan valid

Apa yang baru dalam rilis ini:.

• 3 dukungan Python.
• ekstensi New: caching dan gradien
.
• Sebuah tutorial ditingkatkan dan diperluas.
• Beberapa perbaikan dan perbaikan bug.
• Rilis ini adalah di bawah lisensi BSD.

Apa yang baru di versi 2.5:

• 2009/06/30: Ditambahkan deteksi online backend numerik , dukungan python paralel, backend symeig dan backend numerik untuk output dari unit test. Akan membantu dalam debugging.
• 2009/06/12:. Integrasi cutoff dan histogram node
• 2009/06/12:. Fixed bug dalam aliran paralel (exception handling)
• 2009/06/09: Fixed bug di LLENode ketika output_dim adalah pelampung. Berkat Konrad Hinsen.
• 2009/06/05:. Tetap bug dalam aliran paralel untuk beberapa penjadwal
• 2009/06/05: Fixed bug di lapisan terbalik, berkat Alberto Escalante
.
• 2009/04/29:. Ditambahkan LinearRegressionNode a
• 2009/03/31: PCANode tidak mengeluh lagi ketika kovarians matriks memiliki nilai eigen negatif IFF svd == Benar atau mengurangi == Benar. Jika output_dim telah ditetapkan memiliki varian yang diinginkan, eigenvalues ​​negatif diabaikan. Peningkatan pesan kesalahan untuk SFANode dalam kasus eigenvalues ​​negatif, sekarang kita sarankan untuk tambahkan node dengan PCANode (svd = True) atau PCANode (mengurangi = True).
• 2009/03/26: bermigrasi dari paket thread lama ke threading baru satu. Ditambahkan bendera untuk menonaktifkan caching dalam proses scheduler. Ada beberapa perubahan melanggar untuk penjadwal kustom (pelatihan aliran paralel atau eksekusi tidak terpengaruh).
• 2009/03/25: Ditambahkan revisi svn dukungan pelacakan
.
• 2009/03/25: Dihapus bendera copy_callable untuk scheduler, ini sekarang benar-benar digantikan oleh forking yang TaskCallable. Ini tidak berpengaruh untuk antarmuka ParallelFlow nyaman, tapi penjadwal kustom mendapatkan rusak.
• 2009/03/22: Diimplementasikan caching di ProcessScheduler
.
• 2009/02/22:. Make_parallel sekarang bekerja sepenuhnya di tempat untuk menyimpan memori
• 2009/02/12: Ditambahkan metode wadah untuk FlowNode
.
• 2009/03/03:. Ditambahkan CrossCovarianceMatrix dengan tes
• 2009-02-03: Ditambahkan IdentityNode
.
• 2009/01/30:. Ditambahkan fungsi pembantu di Hinet langsung menampilkan representasi aliran HTML
• 2009/01/22:. Biarkan output_dim di layer yang akan ditetapkan malas
• 2008/12/23:. Ditambahkan total_variance ke nipals simpul
• 2008/12/23:. Selalu mengatur explained_variance dan total_variance setelah pelatihan di PCANode
• 2008-12-12: Modified symrand untuk benar-benar kembali matriks simetris (dan yang pasti tidak hanya positif). Diadaptasi GaussianClassifierNode untuk memperhitungkan itu. Diadaptasi symrand untuk kembali juga matriks hermitian kompleks.
• 2008/12/11: Tetap satu masalah di PCANode (ketika output_dim ditetapkan untuk input_dim total varians diperlakukan sebagai tidak dikenal). Parameter var_part tetap di ParallelPCANode.
• 2008/12/11:. Ditambahkan fitur var_part ke PCANode (filter menurut varians relatif terhadap varians absoute)
• 2008/12/04: Tetap hilang sumbu arg dalam panggilan Amax dalam tutorial. Berkat Samuel John!
• 2008/12/04: Tetap data iterator kosong penanganan di ParallelFlow. Juga menambahkan pemeriksaan iterator kosong di normal Arus (meningkatkan perkecualian jika iterator kosong).
• 2008-11-19: Modified PCA dan node SFA untuk memeriksa eigen negaive dalam matriks cov
• 2008-11-19: symeig terintegrasi dalam scipy, mdp dapat menggunakannya dari sana sekarang
.
• 2008/11/18: Ditambahkan ParallelFDANode
.
• 2008/11/18:. Diperbarui kereta callable untuk ParallelFlow untuk mendukung argumen tambahan
• 2008/11/05: Rewrite dari make kode paralel, sekarang mendukung struktur Hinet
.
• 2008/11/03: Rewrite dari pencipta repesentation Hinet HTML. Sayangnya ini juga istirahat antarmuka publik, tetapi perubahan yang cukup sederhana.
• 2008-10-29: Matikan peringatan datang dari proses terpencil di ProcessScheduler
• 2008/10/27:. Tetap masalah dengan Timpa kwargs dalam metode init dari ParallelFlow
• 2008/10/24:. Tetap pretrained node bug di hinet.FlowNode
• 2008/10/20:. Tetap bug impor kritis dalam paket paralel ketika pp (library python paralel) diinstal

Persyaratan :

• Python
• NumPy
• SciPy