SEO Rehberi Sitenin Crawl Edilebilme Derecesi: Sitenize gelen crawl botları, bir sayfadan diğerine çok çok hızlı bir şekilde gider. Bu botlar sayfanıza gelince onun bir kopyasını alır ve bunu depolar. Bu depolanan kopyaya “index” adı verilir. Bu şekilde tüm internetin içeren bir “kitap” oluşturulur.

Birisi arama yapınca, onun yaptığı arama ile ilgili en alakalı sonuçlar bu “kitap” içerisinden getirilir. Eğer arama sonuçlarında yer almak istiyorsanız bu kitapta bulunmalısınız. Eğer bu kitapta bulunmak istiyorsanız, sitenizin crawl edilmesi gerekir.

Çoğu site crawl ile ilgili bir sorun yaşamaz ancak bu konuda sıkıntılı durumlar da mevcuttur. Örneğin JavaScript ve Flash ile yapılan sayfalar, linkleri arama motoru botlarından saklarlar. Aynı şekilde bu şekilde yapılan web siteleri içerikleri de arama motorlarından saklarlar.

Her siteye belirli bir süre içinde periyodik olarak crawl botları uğrar, bu süre sitenin güvenilirliği ve aranan alanlardaki otoritesine göre değişmektedir. Haber siteleri gibi çok fazla içeriğe sahip olan sitelerin crawl edilme süreleri, normal sürelere göre çok daha azdır. Site dizininizdeki “robots.txt” dosyasını düzenleyerek arama motorlarının botlarının sitenize ulaşama durumunu düzenleyebilirsiniz.

Ancak crawl edilememe sorunları çok karmaşık değildir. Muhtemelen bu sorunlar kolayca çözülür. Bunun yanında HTML veya XML şeklinde hazırlanmış site haritaları sitenizin crawl edilmesine yardımcı olur. Unutmayın arama motorlarına uygun tasarım, kullanıcı dostu tasarım ile aynı şeyleri karşılamaktadır.