Pengertian Web Crawler / Web
Spider
Web Crawler atau biasa juga disebut web spider memiliki tugas
untuk meng-crawl (merayapi) seluruh informasi dari suatu website. Spider akan
menggali seluruh data dari suatu website termasuk didalamnya komponen website
seperti : meta data, keywords dan lain sebagainya. Kemudian web spider
akan mengumpulkan atau mengindeks seluruh website ke dalam data base search
engine. Sampai pada akhirnya halaman website akan di tampilkan pada Search
Engine Result Page (SERP).
Sederhananya seperti ini : Ketika
Anda mengetikkan query atau kata kunci pada search engine, mesin akan mencari
database index dan memberikan daftar halaman web yang sesuai dengan kriteria
yang Anda cari.
Proses web crawler dalam mengunjungi
setiap dokumen web disebut web crawling atau spidering.
Nah, jadi kalo blog Anda telah
dipasang Meta Tag SEO Friendly, judul artikel yang mengandung sebagian dari keywords (kata
kunci) dan memiliki konten yang berkualitas, maka tidak tertutup kemungkinan,
artikel Anda akan mejeng di halaman pertama Search Engine Result Page (SERP).
Fungsi Web Crawler / Web
Spider
1. Web crawler biasa digunakan untuk
membuat salinan sebahagian atau keseluruhan halaman web yang telah
dikunjunginya agar dapat diproses lebih lanjut oleh system pengindeksan.
2. Web crawler dapat digunakan untuk
proses pemeliharaan sebuah website, seperti memvalidasi kode html sebuah web.
3. Web crawler juga digunakan untuk
memperoleh data yang khusus, seperti mengumpulkan alamat email.
Demikian artikel saya kali ini
tentang pengertian dan fungsi web crawler / web spider. Semoga
bermanfaat buat Anda semua.
Tidak ada komentar:
Posting Komentar