Web crawling dikenal sebagai web spider atau web robot. Web Crawlers digunakan untuk membangun salinan dari semua halaman web yang sudah dikunjungi untuk pemrosesan lebih lanjut oleh mesin pencarian, dimana program ini akan memberi indeks pada halaman yang di download sehingga mempercepat pencarian. Crawlers dapat digunakan untuk memeriksa link atau validasi kode HTML. Selain itu, crawlers dapat untuk mengumpulkan tipe-tipe informasi spesifik dari halaman web, seperti spam.
Tidak ada komentar:
Posting Komentar