SEO Rehberi Crawl ve İndex:

Londra Metrosu gibi karmakarışık bir metro hattındayız diye düşünün.

Diyelim ki Londra metro hattı gibi karmakarışık bir hattayız, istediğimiz durağa gitmemiz ve o anda bulunduğumuz durağın nerede olduğu bulmamız için bir büyük resme ihtiyacımız var değil mi? İşte crawl da tam da bu işi yapmaktadır. Sitenize giren arama motoru botları, sitenizde nerede link var, yeni link eklenmiş mi bunları gözlemler. Bu işlem ile sitenizdeki tüm linklere bakılır. Crawl kelimesini dilimizde ne yazık ki tam bir karşılığı yok.

Tüm sayfaları bir yerde toplamak

Linkler sayısı milyonları bulan birbirleriyle bağlantılı web içeriklerine ulaşmak için arama motorlarının otomatik crawler, spider veya örümcek gibi botları sitenize göndermesine olanak sağlar.

Arama motoru bir kez sayfaları bulunca, daha sonra gerekli olunca tekrardan kullanmak için kodları çözer ve gerekli parçaları fiziki veri tabanında depolar. Saniyede milyarlarca sayfayı ilişkilendirmek gibi devasa bir görevi başarmak için, arama motorları dünya çapında veri merkezleri oluşturmuşlardır.

Bu devasa görevi gerçekleştirmek zaten bir sorun iken, bunun bir de hızlı yapılması gerekir. Bir kişi arama motorunda bir sorgu yapınca bunun hemen sonuçlanmasını isteyecektir, bir veya iki saniyelik bir gecikme başarısızlık sayılacaktır. Bu yüzden arama motorları, kullanıcılara çok hızlı cevap verirler.