ASPseek

ASPseek adalah software internet mesin pencari yang dikembangkan oleh SWsoft dan berlisensi sebagai perangkat lunak bebas di bawah GNU GPL.
ASPseek terdiri dari robot pengindeksan, daemon pencarian, dan frontend pencarian CGI. Ini dapat mengindeks sebanyak beberapa juta URL dan mencari kata-kata dan frase, penggunaan wildcard, dan melakukan pencarian Boolean. Hasil pencarian dapat dibatasi jangka waktu tertentu, situs atau ruang Web (set situs) dan diurutkan berdasarkan relevansi (PageRank digunakan) atau tanggal.
ASPseek dioptimalkan untuk beberapa situs (indeks ulir, pencarian DNS async, pengelompokan hasil oleh situs, ruang Web), tetapi dapat digunakan untuk mencari satu situs juga. ASPseek dapat bekerja dengan beberapa bahasa / pengkodean sekaligus (termasuk pengkodean multibyte seperti Cina) karena modus penyimpanan Unicode. Fitur lain termasuk stopwords dan dukungan ispell, charset dan bahasa penebak, HTML template untuk hasil pencarian, kutipan, dan kata-kata permintaan menyoroti.
ASPseek ditulis dalam C ++ menggunakan perpustakaan STL, dan menggunakan campuran database SQL dan file biner untuk penyimpanan.
Berikut adalah beberapa fitur kunci dari "ASPseek":
Kemampuan untuk indeks dan pencarian melalui beberapa jutaan dokumen
 
· Menggunakan ASPseek, Anda dapat membangun database dan mencari melalui banyak situs, dan hasil untuk setiap query akan dikembalikan cepat bahkan jika Anda memiliki beberapa jutaan dokumen diindeks. Tentu saja, ini tergantung pada perangkat keras, jadi jangan berharap "baik tua" mesin i486 untuk menangani setiap situs di domain .com. Semuanya tergantung pada CPU (s), memori, disk kecepatan dll Jadi jangan tes sendiri sebelum Anda membeli hardware khusus.
 
· Fakta bahwa ASPseek dioptimalkan untuk volume tinggi tidak harus berhenti Anda dari menggunakannya untuk mencari situs Anda sendiri yang berisi beberapa ratus dokumen - bekerja di sana juga.
 
Relevansi yang sangat baik dari hasil
 
· Tujuan dari mesin pencari adalah untuk menemukan apa yang pengguna inginkan. Ada dapat ribuan URL ditemukan sebagai hasil dari permintaan pencarian, tapi itu semua bisa menjadi tidak relevan, sehingga pengguna akan puas.
 
· Hasil output di ASPseek diurutkan menurut relevansi (atau peringkat), tetapi perhitungan peringkat bukanlah tugas yang mudah. Pengembang mencoba yang terbaik untuk menggabungkan teknik terbesar dan terbaru ke mesin ASPseek sambil mempertahankan kecepatan pencarian yang baik.
 
Dukungan ispell
 
· Ketika ASPseek digunakan dengan dukungan ispell, searchd (1) opsional dapat menemukan semua bentuk untuk semua kata-kata tertentu (misalnya: membuat -> menciptakan ATAU diciptakan ATAU menciptakan). Jadi, memungkinkan Anda untuk menemukan kata dalam semua bentuk yang berbeda.
 
Mode penyimpanan Unicode
 
· ASPseek dapat menyimpan informasi tentang dokumen dalam Unicode, sehingga membuat mungkin untuk menerapkan multi-bahasa mesin pencari. Jadi, Anda dapat mengindeks dan mencari dokumen-dokumen dalam bahasa Inggris, Rusia dan bahkan Cina, semua dalam satu database.
 
HTTP, HTTPS, HTTP proxy, FTP (melalui proxy) protokol
 
· Sebagai ASPseek adalah mesin pencari Web, menggunakan protokol HTTP ke situs indeks. ASPseek juga mendukung https aman: // protocol. Protokol FTP tidak didukung secara langsung, tetapi Anda dapat menggunakan proxy (seperti squid) dan indeks situs FTP melalui proxy.
 
· ASPseek mendukung "otorisasi dasar" fitur HTTP sehingga Anda dapat daerah yang dilindungi sandi indeks (misalnya informasi pribadi di intranet Anda).
 
Text / html dan text / plain dukungan jenis dokumen
 
· ASPseek dapat memahami dokumen yang ditulis dalam HTML, dan dokumen teks biasa. Ini adalah format yang paling populer di Internet.
 
· Format lain, seperti PDF, RTF, dll, dapat didukung dengan bantuan program / script eksternal yang mampu mengkonversikan format HTML atau teks biasa.
 
Desain multithreaded, async DNS resolver dll
 
· ASPseek menggunakan benang POSIX, yang berarti bahwa satu proses memiliki banyak benang berjalan secara paralel. Jadi download indeks dokumen dari banyak situs, dan proses daemon pencarian banyak permintaan pencarian secara bersamaan. Hal ini tidak hanya membantu ASPseek untuk skala baik pada SMP (multiprosesor) sistem, tetapi juga meningkatkan kecepatan pengindeksan, karena dalam kasus satu thread sebagian besar waktu akan dihabiskan untuk menunggu data dari jaringan.
 
· Satu hal yang proses pengindeksan memperlambat banyak adalah DNS lookup (proses penentuan alamat IP menggunakan nama server). Untuk menghindari keterlambatan, pencarian asynchronous (lookup dilakukan dengan proses khusus yang terpisah) dan alamat IP cache dilaksanakan.
 
Stopwords
 
· Stopwords adalah kata-kata yang tidak memiliki makna dengan sendirinya. Contoh: adalah, apakah, di, ini. Mencari di sia-sia, sehingga kata-kata tersebut dikeluarkan dari permintaan pencarian. Stopwords juga dikecualikan dari database selama pengindeksan, sehingga database menjadi lebih kecil dan lebih cepat.
 
· Tidak ada "built-in" stopwords di ASPseek, mereka dimuat selama start-up dari file. Banyak file stopword untuk bahasa yang berbeda datang dengan ASPseek.
 
Charset guesse
 
· Beberapa server rusak atau terkonfigurasi tidak memberitahu klien charset di mana mereka menyediakan konten. Jika Anda pengindeksan server tersebut, atau menggunakan ASPseek ke server indeks ftp (protokol FTP tidak tahu apa-apa tentang charset), charset penebak dapat digunakan untuk menghadapinya. Charset penebak menggunakan tabel frekuensi kata (disebut langmaps) untuk menentukan charset yang benar.
 
Standar pengecualian robot (robots.txt) dukungan
 
· ASPseek sepenuhnya mendukung standar ini. Hal ini dimaksudkan untuk penulis situs web untuk memberitahu robot (misalnya, indeks ASPseek ini (1)) untuk melewati mengindeks beberapa direktori situs mereka.
 
· Untuk informasi lebih lanjut lihat http://www.robotstxt.org/wc/robots.html
 
Pengaturan untuk mengontrol penggunaan bandwidth jaringan dan server Web beban
 
· Anda justru dapat mengontrol bandwidth jaringan bahwa indeks (1) menggunakan. Tepat, Anda dapat membatasi bandwidth (dinyatakan dalam byte per detik) yang digunakan oleh indeks (1) untuk diberikan waktu-dari-hari. Misalnya, Anda dapat membatasi bandwidth selama jam kerja sehingga orang-orang di kantor Anda tidak akan mengalami internet yang lambat.
 
· Anda juga dapat mengatur waktu minimum antara dua permintaan ke server Web yang sama, sehingga tidak akan kelebihan beban dan turun ke lutut saat Anda menjalankan Indeks (1).
 
Real-time asynchronous pengindeksan
 
· Beberapa mesin pencari mensyaratkan bahwa pencarian harus dihentikan untuk waktu pembaruan basis data. ASPseek tidak membutuhkannya, sehingga Anda dapat mencari non-stop.
 
· Lebih mengatakan, ada modus khusus dari pengindeksan disebut "real-time" pengindeksan. Anda dapat menggunakannya untuk sejumlah kecil dokumen, dan sejauh dokumen tersebut di-download dan diproses, perubahan akan segera terlihat dalam antarmuka pencarian. Fitur ini sangat membantu jika Anda sedang membangun mesin pencari untuk halaman dengan konten cepat berubah seperti berita online dll
 
· Perhatikan bahwa jumlah dokumen dalam "real-time" database terbatas. Ini tentang 1000 pada hardware kami (Anda mungkin berbeda), dan lebih dokumen yang Anda miliki di "real-time" database, lambat akan kecepatan pengindeksan ke dalam (dan hanya itu) database. Ini tidak akan mempengaruhi kecepatan pencarian sekalipun.
 
· Dokumen dari "real-time" database pindah ke database normal setelah menjalankan Indeks (1) dengan cara normal.
 
Menyortir hasil menurut relevansi atau tanggal
 
· Search engine biasanya kembali hasil yang paling relevan pertama. Tetapi jika Anda mencari halaman terbaru, Anda dapat memberitahu ASPseek untuk mengurutkan hasil berdasarkan tanggal modifikasi terakhir, sehingga baru-baru dimodifikasi (atau dibuat) halaman akan ditampilkan pertama.
 
Kutipan, kata permintaan menyoroti
· Kutipan adalah bagian dari menemukan dokumen dengan kata-kata mencari disorot, hanya untuk memberikan gambaran tentang apa dokumen adalah tentang. Anda dapat menyesuaikan jumlah kutipan menampilkan dan panjang mereka. Jika Anda akan menonaktifkan kutipan, awal dokumen akan ditampilkan.
 
· Setiap dokumen yang ditemukan disertai dengan "Cached" link. ASPseek menyimpan salinan dikompresi lokal setiap dokumen diproses, sehingga pengguna dapat melihat seluruh dokumen dengan (opsional) disorot kata-kata yang dicari, bahkan jika itu telah dihapus dari situs asli (yang terjadi kadang-kadang).
 
Pengelompokan hasil menurut situs
 
· Hasil dari satu situs dapat dikelompokkan bersama. Jika pengelompokan oleh situs aktif, hanya dua hasil yang ditampilkan dari situs yang sama secara default, dan pengguna dapat melihat halaman lain dari situs yang sama dengan mengikuti "Hasil lainnya dari ..." link.
 
Klon
 
· Clones adalah dokumen identik di lokasi yang berbeda. Mereka terdeteksi dan dikelompokkan bersama-sama, sehingga pengguna tidak akan disajikan dengan halaman penuh URL ke dokumen yang identik.
 
· Deteksi Clone biasanya dibatasi oleh satu situs (sehingga dokumen yang sama dari situs yang berbeda tidak dihitung sebagai klon), tetapi Anda dapat mengubah ini dengan mengkompilasi ulang ASPseek dengan disable-klon-by-situs pilihan.
 
Ruang dan subset
 
· Ruang adalah himpunan situs. Jadi, jika Anda ingin memberikan pencarian dipersempit ke beberapa daerah, Anda bisa menciptakan ruang dan mencari di dalam ruang itu. Hanya seluruh situs (misalnya http://www.mysite.com/) diperbolehkan untuk dimasukkan dalam ruang.
 
· Subset juga dapat digunakan untuk membatasi pencarian. Anda dapat membuat bagian dan menempatkan URL topeng (seperti http://www.mysite.com/mydir/%) ke dalam, dan kemudian membatasi ruang lingkup pencarian hanya diberikan bagian.
 
· Anda dapat membatasi ruang lingkup pencarian tidak hanya satu tapi beberapa subset atau ruang.
 
HTML template untuk hasil pencarian yang mudah menyesuaikan
 
· Anda dapat menyesuaikan halaman pencarian Anda, sehingga mereka akan terlihat seperti dan mulus diintegrasikan dengan seluruh situs Anda. Hal ini dilakukan dengan editing sederhana dari file template pencarian.
Instalasi
gzip -DC aspseek-1.2.10.tar.gz | tar xf -
cd aspseek-1.2.10. / configure
membuat
su
make install