Membuat Search Engine: Butuh Teknologi yang Kompleks

Dalam beberapa media menyebutkan bahwa Menteri Komunikasi dan Informatika (Kominfo) Johnny G Plate berencana membuat mesin pencarian atau search engine sendiri bernama Gatotkaca seperti Google. Hal ini imbas dari aturan yang menyebabkan beberapa aplikasi terancam diblokir aksesnya.

Mesin pencari dikenal dengan istilah search engine adalah sistem perangkat lunak berbasis web yang digunakan untuk mencari berbagai informasi di internet. Dapat berupa nama domain, keyword, ataupun konten di dalamnya dari sebuah website.

Mesin pencari web bekerja dengan cara yang cukup kompleks dan memiliki kerumitan yang tinggi. Setidaknya, search engine harus memiliki empat bagian mendasar yaitu: web server, crawler, indexing, dan algoritma page rank

Web Server

Web server adalah tools yang memberikan layanan berupa data. Berfungsi untuk menerima permintaan HTTP atau HTTPS dari klien atau kita kenal dengan web browser (Chrome, Firefox). Selanjutnya ia akan mengirimkan respon atas permintaan tersebut kepada client dalam bentuk halaman web.

Web Server memiliki peran dalam memproses berbagai data yang diminta oleh klien (web browser). Kemudian ia memberikan hasil atau jawaban berupa dokumen, video, foto, atau beragam bentuk berkas lainnya.

Crawling

Crawler mesin pencari, juga disebut spider, robot atau bot, adalah program yang secara sistematis dan otomatis menelusuri halaman di web. Tujuan penelusuran otomatis ini biasanya untuk membaca halaman yang dikunjungi perayap untuk menambahkannya ke indeks mesin telusur.

Crawler menerima URL dari sitemap domain (daftar halaman sebuah website) atau dengan mengikuti tautan yang ditemukan di halaman lain (backlink). Sitemap memiliki peran penting agar search engine dapat melakukan crawling dengan daftar URL yang terorganisir untuk diakses.

Indexing

Setelah sebuah halaman ditelusuri crawler, selanjutnya informasi dari sitemap disimpan dalam database. Saat kita akan mencari halaman website melalui mesin pencari melalui keyword, disinilah pengindeksan bekerja.

Hasil dari proses indexing akan menjadi sumber data di search engine. Ketika melakukan pencarian suatu hal dengan sebuah keyword, search engine akan mencari konten yang dimaksud di index database yang telah tersimpan.

Secara garis besar, cara kerja indexing dimulai dengan proses analisis konten. Search engine akan menganalisis keyword yang ada di dalam sebuah website dan memastikan bahwa keyword tersebut relevan dengan isi konten.

Kemudian, web crawler dan web spider mengunjungi berbagai halaman di sebuah website dan mengumpulkan informasi di dalamnya. Hasil temuan dari web crawler itulah yang kemudian menjadi sebuah indeks.

Algoritma Pagerank

PageRank adalah algoritma yang menentukan otoritas sebuah halaman di internet. Hal ini berguna untuk membantu mesin telusur membandingkan halaman yang memenuhi syarat untuk kueri tertentu.

Bberdasarkan seberapa sering mereka direferensikan, berupa tautan di halaman situs lain (backlink). Website yang memiliki ranking bagus akan tampil pada halaman pertama pada mesin pencari.

Kesimpulan

Teknologi yang digunakan untuk membuat mesin pencari (search engine) seperti web server, crawling, indexing, dan pagerank, harus diimplementasikan secara bersamaan dengan memikirkan algoritma paling efektif dan efisien.

Selain itu, pembuatan search engine membutuhkan sumber daya yang besar, karena membutuhkan kapasitas database yang besar untuk menyimpan setiap informasi pada halaman website.