WebGraph

WebGraph adalah suatu kerangka kerja untuk mempelajari grafik web. WebGraph menyediakan cara sederhana untuk mengelola grafik yang sangat besar, memanfaatkan teknik kompresi modern. Lebih tepatnya, saat ini terbuat dari:
1. Satu set kode datar, yang disebut kode, yang sangat cocok untuk menyimpan grafik web (atau, secara umum, bilangan bulat dengan distribusi power-law dalam berbagai eksponen tertentu). Fakta bahwa kode-kode ini bekerja dengan baik dapat dengan mudah diuji secara empiris, tetapi kami juga mencoba untuk memberikan analisis matematis rinci.
2. Algoritma untuk mengompresi grafik web yang mengeksploitasi celah kompresi dan referentiation (la LINK), intervalisation dan kode untuk menyediakan rasio kompresi yang tinggi: misalnya, grafik webbase (2001 crawl) dikompresi di 3.08 bit per link, dan snapshot sekitar 18.500.000 halaman dari domain .uk dikumpulkan oleh UbiCrawler dikompresi di 2.22 bit per link (angka yang sesuai untuk grafik dialihkan adalah 2.89 bit per link dan 1,98 bit per link). Algoritma dikendalikan oleh beberapa parameter, yang menyediakan timbal balik yang berbeda antara kecepatan akses dan rasio kompresi.
3. Algoritma untuk mengakses grafik terkompresi tanpa benar-benar dekompresi itu, menggunakan teknik malas yang menunda dekompresi sampai benar-benar diperlukan.
4. Lengkap, didokumentasikan pelaksanaan algoritma di atas di Jawa, yang terkandung dalam paket it.unimi.dsi.webgraph. Selain API jelas, paket berisi beberapa kelas yang memungkinkan untuk memodifikasi (misalnya, transposisi) atau recompress grafik, sehingga untuk bereksperimen dengan berbagai pengaturan. Paket ini bergantung pada fastutil untuk kerangka koleksi-jenis tertentu, kinerja tinggi, pada MG4J untuk bit-tingkat I / O, pada distribusi COLT untuk, algoritma yang efisien siap digunakan dan GNU getopt untuk line-perintah parsing.
5. Data set untuk grafik yang sangat besar (misalnya, satu miliar link). Ini baik dikumpulkan dari sumber-sumber publik (seperti webbase), atau diproduksi oleh UbiCrawler.
Pada akhirnya, dengan WebGraph Anda dapat mengakses dan menganalisis web grafik yang sangat besar, bahkan pada PC dengan sesedikit 256 Mbytes RAM. Menggunakan WebGraph semudah memasang file jar sedikit dan men-download satu set data. Hal ini membuat mempelajari fenomena seperti PageRank, distribusi sifat grafik grafik web, dll sangat mudah

Apa yang baru dalam rilis ini:.

• Versi ini menambahkan beberapa perbaikan HyperANF, dan beberapa perbaikan bug.
• WebGraph sekarang dapat ditemukan di Maven Central.

Apa yang baru dalam versi 2.4.5:

• Versi ini berisi implementasi HyperANF, baru algoritma yang sangat scalable untuk menghitung fungsi lingkungan grafik, dan metode yang menghitung jalur terpendek rata-rata dan data yang berasal lainnya dari fungsi lingkungan.
• Selain itu, kekayaan data statistik yang kini dihitung selama kompresi.

Apa yang baru dalam versi 2.4.4:.

• Beberapa opsi lama telah dihapus
• File properti sekarang mengandung banyak statistik yang berguna a.


• kecepatan akses acak telah diperbaiki.

Apa yang baru dalam versi 2.4.3:

• ArrayListMutableGraph.addNodes Tetap () (terima kasih kepada Erik Lumer untuk menemukan dan memperbaiki bug ini).
• Pilihan baru untuk menggeser output grafik ASCII.
• RemappedImmutableGraph.successorArray (x) adalah menyediakan array yang sama pada setiap panggilan, sehingga membuat penerus warisan (x) tidak dapat digunakan untuk memindai dalam daftar yang berbeda paralel metode. Tetap (sekarang mengembalikan salinan dari array, sebagai gantinya).
• transformasi acak baru yang permutes acak grafik.

Apa yang baru dalam versi 2.4.2:

• A baru & quot; quot menulis &; membangun memungkinkan untuk menulis (arc-label) grafik.